| Предыдущая версия справа и слеваПредыдущая версияСледующая версия | Предыдущая версия |
| dpi:dpi_options:opt_li:li_ipfix [2025/05/26 13:57] – elena.krasnobryzh | dpi:dpi_options:opt_li:li_ipfix [2025/10/31 08:55] (текущий) – elena.krasnobryzh |
|---|
| или утилита [[dpi:dpi_components:utilities:ipfixreceiver2|IPFIX Receiver]]. | или утилита [[dpi:dpi_components:utilities:ipfixreceiver2|IPFIX Receiver]]. |
| |
| Для приема, обработки и хранения ClickStream рекомендуется использовать [[dpi:dpi_components:qoestor|программный продукт для сбора статистики QoE Store]] и [[dpi:dpi_components:dpiui|графический интерфейс DPIUI2]].\\ | Для приема, обработки и хранения ClickStream рекомендуется использовать [[dpi:qoe_analytics|программный продукт для сбора статистики QoE Store]] и [[dpi:dpi_components:dpiui|графический интерфейс DPIUI2]].\\ |
| |
| При недостаточном качестве канала связи между СКАТ и NetFlow/IPFIX коллектором СКАТ пропускает отправку части статистики для сохранения производительности. При пропуске чанка информации в ''fastdpi_alert.log'' выводится сообщение: | При недостаточном качестве канала связи между СКАТ и NetFlow/IPFIX коллектором СКАТ пропускает отправку части статистики для сохранения производительности. При пропуске чанка информации в ''fastdpi_alert.log'' выводится сообщение: |
| </code> | </code> |
| где | где |
| * **''em1''** --- имя сетевого интерфейса для экспорта.\\ | * **''em1''** — имя сетевого интерфейса для экспорта.\\ |
| * **''ipfix_udp_collectors''** --- адреса UDP коллекторов.\\ | * **''ipfix_udp_collectors''** — адреса UDP коллекторов.\\ |
| * **''ipfix_tcp_collectors''** --- адреса TCP коллекторов.\\ | * **''ipfix_tcp_collectors''** — адреса TCP коллекторов.\\ |
| * **''dbg_log_mask=0x80''** --- вывод статистической информации об экспорте в лог. | * **''dbg_log_mask=0x80''** — вывод статистической информации об экспорте в лог. |
| |
| | Параметр ''ipfix_mtu_limit'' задает максимальный размер пакета UDP при отправке IPFIX. По умолчанию равен минимальному размеру MTU используемых для отправки интерфейсов. |
| ==== IPFIX шаблона экспорта Clickstream ==== | ==== IPFIX шаблона экспорта Clickstream ==== |
| Формат IPFIX шаблонов для IPV6 отличается форматом полей ''IP_SOURCE'' и ''IP_DESTINATION''. | Формат IPFIX шаблонов для IPV6 отличается форматом полей ''IP_SOURCE'' и ''IP_DESTINATION''. |
| |
| |
| ^ Формат IPFIX шаблона экспорта Clickstream |||||| | ^ Формат IPFIX шаблона экспорта Clickstream ^^^^^^ |
| ^ № ^ Кол-во байт ^ Тип данных ^ IANA ^ Описание ^ Примечание ^ | ^ № ^ Кол-во байт ^ Тип данных ^ IANA ^ Описание ^ Примечание ^ |
| | 1001 | 4 | int32 | 43823 | TIME_STAMP | Метка времени | | | 1001 | 4 | int32 | 43823 | TIME_STAMP | Метка времени | |
| | 59 | 2 | int16 | - | POST_VLAN_ID | POST VLAN | | | 59 | 2 | int16 | - | POST_VLAN_ID | POST VLAN | |
| | 56 | 6 | mac_address | - | Source MAC Address | | | | 56 | 6 | mac_address | - | Source MAC Address | | |
| | 57 | 6 | mac_adress | - | Destination MAC Address | | | | 57 | 6 | mac_address | - | Destination MAC Address | | |
| | 2017 | - | raw | 43823 | MPLS Labels | | | | 2017 | - | raw | 43823 | MPLS Labels | | |
| | 2018 | 4 | int32 | 43823 | TCP Sequence | | | | 2018 | 4 | int32 | 43823 | TCP Sequence | | |
| **Примечание:**\\ | **Примечание:**\\ |
| * ''LOCKED'' = 1 - заблокирован по HTTPS, 2 - редирект HTTP, 3 - заблокирован по HTTP (передается битовой маской) | * ''LOCKED'' = 1 - заблокирован по HTTPS, 2 - редирект HTTP, 3 - заблокирован по HTTP (передается битовой маской) |
| * ''HOST_TYPE'' = 1 в случае HTTP, 2 --- CNAME, 3 --- SNI, 4 --- QUIC | * ''HOST_TYPE'' = 1 в случае HTTP, 2 — CNAME, 3 — SNI, 4 — QUIC |
| * ''METHOD'' = 1 --- GET, 2 --- POST, 3 --- PUT, 4 --- DELETE | * ''METHOD'' = 1 — GET, 2 — POST, 3 — PUT, 4 — DELETE |
| |
| При включенном настроечном параметре ''http_parse_reply=1'' дополнительно будет передаваться информация из ответов на запросы. Связать их с ответами можно по идентификатору сессии ''SESSION_ID'', учитывая порядок следования. | При включенном настроечном параметре ''http_parse_reply=1'' дополнительно будет передаваться информация из ответов на запросы. Связать их с ответами можно по идентификатору сессии ''SESSION_ID'', учитывая порядок следования. |
| </code> | </code> |
| где | где |
| * **''em1''** --- имя сетевого интерфейса для экспорта.\\ | * **''em1''** — имя сетевого интерфейса для экспорта.\\ |
| * **''ipfix_meta_udp_collectors''** --- адреса UDP коллекторов.\\ | * **''ipfix_meta_udp_collectors''** — адреса UDP коллекторов.\\ |
| * **''ipfix_meta_tcp_collectors''** --- адреса TCP коллекторов.\\ | * **''ipfix_meta_tcp_collectors''** — адреса TCP коллекторов.\\ |
| * **''dbg_log_mask=0x80''** --- вывод статистической информации об экспорте в лог. | * **''dbg_log_mask=0x80''** — вывод статистической информации об экспорте в лог. |
| |
| ==== Форматы IPFIX шаблона экспорта метаданных ==== | ==== Форматы IPFIX шаблона экспорта метаданных ==== |
| |
| **Примечание:** \\ | **Примечание:** \\ |
| ''IP_SRC'' --- ''IP_SOURCE''.\\ | ''IP_SRC'' — ''IP_SOURCE''.\\ |
| ''IP_DST'' --- ''IP_DESTINATION''.\\ | ''IP_DST'' — ''IP_DESTINATION''.\\ |
| ''GATEWAYS'' --- список шлюзов (IP или hostname), разделенных запятой. | ''GATEWAYS'' — список шлюзов (IP или hostname), разделенных запятой. |
| |
| ^ Формат IPFIX шаблона экспорта метаданных FTP ^^^^^^ | ^ Формат IPFIX шаблона экспорта метаданных FTP ^^^^^^ |
| | 2017 | - | raw | 43823 |MPLS Labels|| | | 2017 | - | raw | 43823 |MPLS Labels|| |
| |
| **Примечание:** поле ''MODE'' содержит тип FTP соединения: (0 --- активный, 1 --- пассивный). | **Примечание:** поле ''MODE'' содержит тип FTP соединения: (0 — активный, 1 — пассивный). |
| |
| ^ Формат IPFIX шаблона экспорта метаданных мессенджеров (XMPP) ^^^^^^ | ^ Формат IPFIX шаблона экспорта метаданных мессенджеров (XMPP) ^^^^^^ |
| | 2017 | - | raw | 43823 |MPLS Labels|| | | 2017 | - | raw | 43823 |MPLS Labels|| |
| |
| **Примечание:** поле ''IM_PROTOCOL'' содержит тип используемого протокола: 0 --- ICQ, 7 --- XMPP, 106 --- ZELLO/ | **Примечание:** поле ''IM_PROTOCOL'' содержит тип используемого протокола: 0 — ICQ, 7 — XMPP, 106 — ZELLO |
| |
| ^ Формат IPFIX шаблона экспорта метаданных почтовых протоколов (POP, IMAP, SMTP) ^^^^^^ | ^ Формат IPFIX шаблона экспорта метаданных почтовых протоколов (POP, IMAP, SMTP) ^^^^^^ |
| | 2017 | - | raw | 43823 |MPLS Labels|| | | 2017 | - | raw | 43823 |MPLS Labels|| |
| |
| **Примечание:** поле ''EVENT'' указывает тип события: 1 --- send, 2 --- receive, \\ | **Примечание:** поле ''EVENT'' указывает тип события: 1 — send, 2 — receive, \\ |
| ''ATTACHMENT'' --- признак наличия вложения: ''mail_protocol ='' 0 --- smtp, 1 --- pop3, 2 --- imap. | ''ATTACHMENT'' — признак наличия вложения: ''mail_protocol ='' 0 — smtp, 1 — pop3, 2 — imap. |
| |
| ^ Формат IPFIX шаблона экспорта сырых нераспарсенных метаданных ^^^^^^ | ^ Формат IPFIX шаблона экспорта сырых нераспарсенных метаданных ^^^^^^ |
| |
| **Примечание:** | **Примечание:** |
| * **''FLW_DIR''** --- направление пакета по интерфейсам: 0: subs --> inet, 1: inet --> subs. \\ | * **''FLW_DIR''** — направление пакета по интерфейсам: 0: subs --> inet, 1: inet --> subs. \\ |
| * **''DIR_DATA''** --- направление пакета по сессии: для TCP 0: клиент --> сервер, 1: сервер --> клиент, для UDP --- от кого первый пакет зафиксирован, тот и считается клиентом.\\ | * **''DIR_DATA''** — направление пакета по сессии: для TCP 0: клиент --> сервер, 1: сервер --> клиент, для UDP — от кого первый пакет зафиксирован, тот и считается клиентом.\\ |
| * **''VDPI_PROTO''** --- протокол, определяющий DPI.\\ | * **''VDPI_PROTO''** — протокол, определяющий DPI.\\ |
| * **''META_PROTO''** --- внутренний идентификатор протокола (3 --- SIP, 4 --- FTP, 5 --- SMTP, 6 --- POP3, 7 --- IMAP, 8 --- XMPP, 9 --- ICQ, 10 --- RSS, 11 --- NNTP, 12 --- H323, 13 --- ZELLO).\\ | * **''META_PROTO''** — внутренний идентификатор протокола (3 — SIP, 4 — FTP, 5 — SMTP, 6 — POP3, 7 — IMAP, 8 — XMPP, 9 — ICQ, 10 — RSS, 11 — NNTP, 12 — H323, 13 — ZELLO).\\ |
| * **''RAW_DATA''** --- сырые данные. | * **''RAW_DATA''** — сырые данные. |
| |
| Для агрегации ''raw_data'', ''clickstream'', ''http_reply'' и ''ssl_reply'' с данными по сессиям требуется дополнительная обработка | Для агрегации ''raw_data'', ''clickstream'', ''http_reply'' и ''ssl_reply'' с данными по сессиям требуется дополнительная обработка |
| или выполнение запроса по БД с ключом ''Session_ID'', или поддержка в утилите ''rcollector''. | или выполнение запроса по БД с ключом ''Session_ID'', или поддержка в утилите ''rcollector''. |
| |
| ===== DNS ===== | ===== Настройка экспорта DNS-ответов или DNS-запросов ===== |
| |
| Экспорт DNS настраивается следующими параметрами: | Экспорт DNS настраивается следующими параметрами: |
| </code> | </code> |
| где | где |
| * **''em1''** --- имя сетевого интерфейса для экспорта.\\ | * **''em1''** — имя сетевого интерфейса для экспорта.\\ |
| * **''ipfix_dns_udp_collectors''** --- адреса UDP коллекторов.\\ | * **''ipfix_dns_udp_collectors''** — адреса UDP коллекторов.\\ |
| * **''ipfix_dns_tcp_collectors''** --- адреса TCP коллекторов.\\ | * **''ipfix_dns_tcp_collectors''** — адреса TCP коллекторов.\\ |
| |
| Формат IPFIX шаблонов для IPV6 отличается форматом полей ''IP_SOURCE'' и ''IP_DESTINATION''. | Формат IPFIX шаблонов для IPV6 отличается форматом полей ''IP_SOURCE'' и ''IP_DESTINATION''. |
| | 1014 | 2 | int16 | 43823 | DESTINATION PORT | | | | 1014 | 2 | int16 | 43823 | DESTINATION PORT | | |
| | 2000 | 8 | int64 | 43823 | SESSION_ID | Идентификатор сессии | | | 2000 | 8 | int64 | 43823 | SESSION_ID | Идентификатор сессии | |
| | 3200 | 1 | int8 | 43823 | UDP/TCP | Транспорт: 0 --- UDP, 1 --- TCP | | | 3200 | 1 | int8 | 43823 | UDP/TCP | Транспорт: 0 — UDP, 1 — TCP | |
| | 3201 | - | string | 43823 | DOMAIN | | | | 3201 | - | string | 43823 | DOMAIN | | |
| | 3202 | 2 | int16 | 43823 | RRCLASS | | | | 3202 | 2 | int16 | 43823 | RRCLASS | | |
| | 2017 | - | raw | 43823 | MPLS Labels || | | 2017 | - | raw | 43823 | MPLS Labels || |
| | 2016 | 2 | int16 | 43823 | BRIDGE_CHANNEL_NUM | Номер канала (vchannel) или моста. Если в конфигурации DPI настроены vchannel, то будет передаваться номер канала, иначе номер моста | | | 2016 | 2 | int16 | 43823 | BRIDGE_CHANNEL_NUM | Номер канала (vchannel) или моста. Если в конфигурации DPI настроены vchannel, то будет передаваться номер канала, иначе номер моста | |
| | | 224 | 8 | uint64 | - | ipTotalLength | Общий размер IP пакета | |
| | | 3206 | 2 | uint16 | 43823 | DNS transaction id | Идентификатор транзакции DNS | |
| |
| Альтернативой является сохранение данных в локальном текстовом логе: | Альтернативой является сохранение данных в локальном текстовом логе: |
| |
| * **''ajb_save_dns''** --- флаг записи в текстовый файл. | * **''ajb_save_dns''** — флаг записи в текстовый файл.\\ |
| * **''ajb_dns_ftimeout''** --- таймаут (в минутах) переключения на следующий файл. | * **''ajb_save_dns=0''** — не сохранять |
| * **''ajb_dns_bufsize''** --- буфер записи в файл. | * **''ajb_save_dns=1''** — по умолчанию, отправка DNS-ответов по IPFIX\\ |
| * **''ajb_dns_fsize''** --- ограничение на размер файла. | * **''ajb_save_dns=2''** — позволяет включить отправку DNS-запросов по IPFIX |
| * **''ajb_dns_path''** --- путь к записывающему файлу. | * **''ajb_save_dns=4''** — сохранять ответы DNS с типом MX |
| | * **''ajb_dns_ftimeout''** — таймаут (в минутах) переключения на следующий файл. |
| | * **''ajb_dns_bufsize''** — буфер записи в файл. |
| | * **''ajb_dns_fsize''** — ограничение на размер файла. |
| | * **''ajb_dns_path''** — путь к записывающему файлу. |
| |
| Переключение на следующий файл происходит, когда размер файла достигнет ''ajb_dns_fsize'' или файл непустой и прошло время ''ajb_dns_ftimeout'' | Переключение на следующий файл происходит, когда размер файла достигнет ''ajb_dns_fsize'' или файл непустой и прошло время ''ajb_dns_ftimeout'' |
| |
| ''ajb_save_dns_format'': формат записи в текстовый файл | ''ajb_save_dns_format'': формат записи в текстовый файл |
| * **''ts''** --- время. | * **''ts''** — время. |
| * **''ipsrc''** --- ip_source. | * **''ipsrc''** — ip_source. |
| * **''ipdst''** --- ip_destination. | * **''ipdst''** — ip_destination. |
| * **''ssid''** --- session_id. | * **''ssid''** — session_id. |
| * **''login''** --- логин. | * **''login''** — логин. |
| |
| * **''host''** --- name, которого запрашивали информацию. | * **''host''** — name, которого запрашивали информацию. |
| * **''rrtype''** --- RR types. | * **''rrtype''** — RR types. |
| * **''rrclass''** --- RR class. | * **''rrclass''** — RR class. |
| * **''ttl''** --- TTL. | * **''ttl''** — TTL. |
| * **''rdlen''** --- размер rdata. | * **''rdlen''** — размер rdata. |
| * **''rdata''** --- ресурс. | * **''rdata''** — ресурс. |
| * **''psrc''** --- port source. | * **''psrc''** — port source. |
| * **''pdst''** --- port destination. | * **''pdst''** — port destination. |
| * **''transport''** --- как получен DNS запрос. | * **''transport''** — как получен DNS запрос. |
| |
| По умолчанию: ''ts:ssid:login:ipsrc:ipdst:psrc:pdst:transport:host:rrtype:rrclass:ttl:rdlen:rdata'' | По умолчанию: ''ts:ssid:login:ipsrc:ipdst:psrc:pdst:transport:host:rrtype:rrclass:ttl:rdlen:rdata'' |
| |
| =====Отправка template в IPFIX===== | =====Отправка template в IPFIX===== |
| - Транспортный протокол TCP.\\ Template отправляется один раз после установления TCP-сессии. | - Транспортный протокол TCP.\\ Template отправляется один раз после установления TCP-сессии. |
| - Транспортный протокол UDP.\\ Template отправляется по умолчанию каждые 20 секунд. Регулируется параметром ''ipfix_udp_template_timer''. | - Транспортный протокол UDP.\\ Template отправляется по умолчанию каждые 20 секунд. Регулируется параметром ''ipfix_udp_template_timer''. |
