| Предыдущая версия справа и слеваПредыдущая версияСледующая версия | Предыдущая версия |
| dpi:dpi_options:opt_li:li_ipfix [2024/09/26 15:29] – внешнее изменение 127.0.0.1 | dpi:dpi_options:opt_li:li_ipfix [2025/07/24 13:06] (текущий) – [Настройка экспорта DNS-ответов или DNS-запросов] elena.krasnobryzh |
|---|
| ====== Экспорт в формате IPFIX ====== | ====== Экспорт Clickstream, Meta информации, DNS в формате IPFIX ====== |
| {{indexmenu_n>3}} | {{indexmenu_n>3}} |
| |
| </code> | </code> |
| где | где |
| * **''em1''** --- имя сетевого интерфейса для экспорта.\\ | * **''em1''** — имя сетевого интерфейса для экспорта.\\ |
| * **''ipfix_udp_collectors''** --- адреса UDP коллекторов.\\ | * **''ipfix_udp_collectors''** — адреса UDP коллекторов.\\ |
| * **''ipfix_tcp_collectors''** --- адреса TCP коллекторов.\\ | * **''ipfix_tcp_collectors''** — адреса TCP коллекторов.\\ |
| * **''dbg_log_mask=0x80''** --- вывод статистической информации об экспорте в лог. | * **''dbg_log_mask=0x80''** — вывод статистической информации об экспорте в лог. |
| |
| ==== IPFIX шаблона экспорта Clickstream ==== | ==== IPFIX шаблона экспорта Clickstream ==== |
| |
| |
| ^ Формат IPFIX шаблона экспорта Clickstream ^^^^^^ | ^ Формат IPFIX шаблона экспорта Clickstream ^^^^^^ |
| ^ № ^ Кол-во байт ^ Тип данных ^ IANA ^ Описание ^ Примечание ^ | ^ № ^ Кол-во байт ^ Тип данных ^ IANA ^ Описание ^ Примечание ^ |
| | 1001 | 4 | int32 | 43823 |TIME_STAMP| Метка времени | | | 1001 | 4 | int32 | 43823 | TIME_STAMP | Метка времени | |
| | 1002 | - | string | 43823 |LOGIN| Вход в систему | | | 1002 | - | string | 43823 | LOGIN | Вход в систему | |
| | 1003 | 4 | IPv4 | 43823 |IP_SOURCE| Адрес отправителя | | | 1003 | 4 | IPv4 | 43823 | IP_SOURCE | Адрес отправителя | |
| | 1004 | 4 | IPv4 | 43823 |IP_DESTINATION| Адрес получателя | | | 1004 | 4 | IPv4 | 43823 | IP_DESTINATION | Адрес получателя | |
| | 1005 | - | string | 43823 |HOSTNAME/CNAME/SNI| Имя хоста/каноническое имя/индикация имени сервера | | | 1005 | - | string | 43823 | HOSTNAME/CNAME/SNI | Имя хоста/каноническое имя/индикация имени сервера | |
| | 1006 | - | string | 43823 |[[https://ru.wikipedia.org/wiki/PATH_(%D0%BF%D0%B5%D1%80%D0%B5%D0%BC%D0%B5%D0%BD%D0%BD%D0%B0%D1%8F)|PATH]]| Переменная окружения | | | 1006 | - | string | 43823 | [[https://ru.wikipedia.org/wiki/PATH_(%D0%BF%D0%B5%D1%80%D0%B5%D0%BC%D0%B5%D0%BD%D0%BD%D0%B0%D1%8F)|PATH]] | Переменная окружения | |
| | 1007 | - | string | 43823 |[[https://ru.wikipedia.org/wiki/HTTP_referer|REFER]]| Заголовок запроса клиента | | | 1007 | - | string | 43823 | [[https://ru.wikipedia.org/wiki/HTTP_referer|REFER]] | Заголовок запроса клиента | |
| | 1008 | - | string | 43823 |[[https://ru.wikipedia.org/wiki/User_agent|USER AGENT]]| Пользовательский агент | | | 1008 | - | string | 43823 | [[https://ru.wikipedia.org/wiki/User_agent|USER AGENT]] | Пользовательский агент | |
| | 1009 | - | string | 43823 |[[https://ru.wikipedia.org/wiki/Cookie|COOKIE]]| Ку́ки | | | 1009 | - | string | 43823 | [[https://ru.wikipedia.org/wiki/Cookie|COOKIE]] | Ку́ки | |
| | 2000 | 8 | int64 | 43823 |SESSION_ID| Идентификатор сессии | | | 2000 | 8 | int64 | 43823 | SESSION_ID | Идентификатор сессии | |
| | 1010 | 8 | int64 | 43823 |LOCKED| Заблокированный | | | 1010 | 8 | int64 | 43823 | LOCKED | Заблокированный | |
| | 1011 | 1 | int8 | 43823 |HOST_TYPE| Тип хоста | | | 1011 | 1 | int8 | 43823 | HOST_TYPE | Тип хоста | |
| | 1012 | 1 | int8 | 43823 |METHOD| Метод | | | 1012 | 1 | int8 | 43823 | METHOD | Метод | |
| | 1013 | 2 | int16 | 43823 |PORT_SOURCE| Порт отправителя | | | 1013 | 2 | int16 | 43823 | PORT_SOURCE | Порт отправителя | |
| | 1014 | 2 | int16 | 43823 |PORT_DESTINATION| Порт получателя | | | 1014 | 2 | int16 | 43823 | PORT_DESTINATION | Порт получателя | |
| | 2016 | 2 | int16 | 43823 |BRIDGE_CHANNEL_NUM| Номер канала (vchannel) или моста. Если в конфигурации DPI настроены vchannel, то будет передаваться номер канала, иначе номер моста| | | 2016 | 2 | int16 | 43823 | BRIDGE_CHANNEL_NUM | Номер канала (vchannel) или моста. Если в конфигурации DPI настроены vchannel, то будет передаваться номер канала, иначе номер моста | |
| | 1024 | 2 | int16 | 43823 |CipherSuitesLen|Размер в байтах набора доступных методов шифрования CipherSuites в сообщении Client Hello| | | 1024 | 2 | int16 | 43823 | CipherSuitesLen | Размер в байтах набора доступных методов шифрования CipherSuites в сообщении Client Hello | |
| | 1025 | - | raw | 43823 |CipherSuites|Массив CipherSuites в Client Hello (max 16 значений)| | | 1025 | - | raw | 43823 | CipherSuites | Массив CipherSuites в Client Hello (max 16 значений) | |
| | 58 | 2 | int16 | - |VlanId|VLAN| | | 58 | 2 | int16 | - | VLAN_ID | VLAN | |
| | 59 | 2 | int16 | - |postVlanID|POST VLAN| | | 59 | 2 | int16 | - | POST_VLAN_ID | POST VLAN | |
| | 56 | 6 | mac_address | - |Source MAC Address| | | 56 | 6 | mac_address | - | Source MAC Address | | |
| | 57 | 6 | mac_adress | - |Destination MAC Address| | | 57 | 6 | mac_address | - | Destination MAC Address | | |
| | 2017 | - | raw | 43823 |MPLS Labels| | | 2017 | - | raw | 43823 | MPLS Labels | | |
| | 2018 | 4 | int32 | 43823 |TCP Sequence| | | 2018 | 4 | int32 | 43823 | TCP Sequence | | |
| |
| **Примечание:**\\ | **Примечание:**\\ |
| * ''LOCKED'' = 1 - заблокирован по HTTPS, 2 - редирект HTTP, 3 - заблокирован по HTTP (передается битовой маской) | * ''LOCKED'' = 1 - заблокирован по HTTPS, 2 - редирект HTTP, 3 - заблокирован по HTTP (передается битовой маской) |
| * ''HOST_TYPE'' = 1 в случае HTTP, 2 --- CNAME, 3 --- SNI, 4 --- QUIC | * ''HOST_TYPE'' = 1 в случае HTTP, 2 — CNAME, 3 — SNI, 4 — QUIC |
| * ''METHOD'' = 1 --- GET, 2 --- POST, 3 --- PUT, 4 --- DELETE | * ''METHOD'' = 1 — GET, 2 — POST, 3 — PUT, 4 — DELETE |
| |
| При включенном настроечном параметре ''http_parse_reply=1'' дополнительно будет передаваться информация из ответов на запросы. Связать их с ответами можно по идентификатору сессии ''SESSION_ID'', учитывая порядок следования. | При включенном настроечном параметре ''http_parse_reply=1'' дополнительно будет передаваться информация из ответов на запросы. Связать их с ответами можно по идентификатору сессии ''SESSION_ID'', учитывая порядок следования. |
| </code> | </code> |
| где | где |
| * **''em1''** --- имя сетевого интерфейса для экспорта.\\ | * **''em1''** — имя сетевого интерфейса для экспорта.\\ |
| * **''ipfix_meta_udp_collectors''** --- адреса UDP коллекторов.\\ | * **''ipfix_meta_udp_collectors''** — адреса UDP коллекторов.\\ |
| * **''ipfix_meta_tcp_collectors''** --- адреса TCP коллекторов.\\ | * **''ipfix_meta_tcp_collectors''** — адреса TCP коллекторов.\\ |
| * **''dbg_log_mask=0x80''** --- вывод статистической информации об экспорте в лог. | * **''dbg_log_mask=0x80''** — вывод статистической информации об экспорте в лог. |
| |
| ==== Форматы IPFIX шаблона экспорта метаданных ==== | ==== Форматы IPFIX шаблона экспорта метаданных ==== |
| |
| **Примечание:** \\ | **Примечание:** \\ |
| ''IP_SRC'' --- ''IP_SOURCE''.\\ | ''IP_SRC'' — ''IP_SOURCE''.\\ |
| ''IP_DST'' --- ''IP_DESTINATION''.\\ | ''IP_DST'' — ''IP_DESTINATION''.\\ |
| ''GATEWAYS'' --- список шлюзов (IP или hostname), разделенных запятой. | ''GATEWAYS'' — список шлюзов (IP или hostname), разделенных запятой. |
| |
| ^ Формат IPFIX шаблона экспорта метаданных FTP ^^^^^^ | ^ Формат IPFIX шаблона экспорта метаданных FTP ^^^^^^ |
| | 2017 | - | raw | 43823 |MPLS Labels|| | | 2017 | - | raw | 43823 |MPLS Labels|| |
| |
| **Примечание:** поле ''MODE'' содержит тип FTP соединения: (0 --- активный, 1 --- пассивный). | **Примечание:** поле ''MODE'' содержит тип FTP соединения: (0 — активный, 1 — пассивный). |
| |
| ^ Формат IPFIX шаблона экспорта метаданных мессенджеров (XMPP) ^^^^^^ | ^ Формат IPFIX шаблона экспорта метаданных мессенджеров (XMPP) ^^^^^^ |
| | 2017 | - | raw | 43823 |MPLS Labels|| | | 2017 | - | raw | 43823 |MPLS Labels|| |
| |
| **Примечание:** поле ''IM_PROTOCOL'' содержит тип используемого протокола: 0 --- ICQ, 7 --- XMPP, 106 --- ZELLO/ | **Примечание:** поле ''IM_PROTOCOL'' содержит тип используемого протокола: 0 — ICQ, 7 — XMPP, 106 — ZELLO |
| |
| ^ Формат IPFIX шаблона экспорта метаданных почтовых протоколов (POP, IMAP, SMTP) ^^^^^^ | ^ Формат IPFIX шаблона экспорта метаданных почтовых протоколов (POP, IMAP, SMTP) ^^^^^^ |
| | 2017 | - | raw | 43823 |MPLS Labels|| | | 2017 | - | raw | 43823 |MPLS Labels|| |
| |
| **Примечание:** поле ''EVENT'' указывает тип события: 1 --- send, 2 --- receive, \\ | **Примечание:** поле ''EVENT'' указывает тип события: 1 — send, 2 — receive, \\ |
| ''ATTACHMENT'' --- признак наличия вложения: ''mail_protocol ='' 0 --- smtp, 1 --- pop3, 2 --- imap. | ''ATTACHMENT'' — признак наличия вложения: ''mail_protocol ='' 0 — smtp, 1 — pop3, 2 — imap. |
| |
| ^ Формат IPFIX шаблона экспорта сырых нераспарсенных метаданных ^^^^^^ | ^ Формат IPFIX шаблона экспорта сырых нераспарсенных метаданных ^^^^^^ |
| |
| **Примечание:** | **Примечание:** |
| * **''FLW_DIR''** --- направление пакета по интерфейсам: 0: subs --> inet, 1: inet --> subs. \\ | * **''FLW_DIR''** — направление пакета по интерфейсам: 0: subs --> inet, 1: inet --> subs. \\ |
| * **''DIR_DATA''** --- направление пакета по сессии: для TCP 0: клиент --> сервер, 1: сервер --> клиент, для UDP --- от кого первый пакет зафиксирован, тот и считается клиентом.\\ | * **''DIR_DATA''** — направление пакета по сессии: для TCP 0: клиент --> сервер, 1: сервер --> клиент, для UDP — от кого первый пакет зафиксирован, тот и считается клиентом.\\ |
| * **''VDPI_PROTO''** --- протокол, определяющий DPI.\\ | * **''VDPI_PROTO''** — протокол, определяющий DPI.\\ |
| * **''META_PROTO''** --- внутренний идентификатор протокола (3 --- SIP, 4 --- FTP, 5 --- SMTP, 6 --- POP3, 7 --- IMAP, 8 --- XMPP, 9 --- ICQ, 10 --- RSS, 11 --- NNTP, 12 --- H323, 13 --- ZELLO).\\ | * **''META_PROTO''** — внутренний идентификатор протокола (3 — SIP, 4 — FTP, 5 — SMTP, 6 — POP3, 7 — IMAP, 8 — XMPP, 9 — ICQ, 10 — RSS, 11 — NNTP, 12 — H323, 13 — ZELLO).\\ |
| * **''RAW_DATA''** --- сырые данные. | * **''RAW_DATA''** — сырые данные. |
| |
| Для агрегации ''raw_data'', ''clickstream'', ''http_reply'' и ''ssl_reply'' с данными по сессиям требуется дополнительная обработка | Для агрегации ''raw_data'', ''clickstream'', ''http_reply'' и ''ssl_reply'' с данными по сессиям требуется дополнительная обработка |
| или выполнение запроса по БД с ключом ''Session_ID'', или поддержка в утилите ''rcollector''. | или выполнение запроса по БД с ключом ''Session_ID'', или поддержка в утилите ''rcollector''. |
| |
| ===== DNS ===== | ===== Настройка экспорта DNS-ответов или DNS-запросов ===== |
| |
| Экспорт DNS настраивается следующими параметрами: | Экспорт DNS настраивается следующими параметрами: |
| </code> | </code> |
| где | где |
| * **''em1''** --- имя сетевого интерфейса для экспорта.\\ | * **''em1''** — имя сетевого интерфейса для экспорта.\\ |
| * **''ipfix_dns_udp_collectors''** --- адреса UDP коллекторов.\\ | * **''ipfix_dns_udp_collectors''** — адреса UDP коллекторов.\\ |
| * **''ipfix_dns_tcp_collectors''** --- адреса TCP коллекторов.\\ | * **''ipfix_dns_tcp_collectors''** — адреса TCP коллекторов.\\ |
| |
| Формат IPFIX шаблонов для IPV6 отличается форматом полей ''IP_SOURCE'' и ''IP_DESTINATION''. | Формат IPFIX шаблонов для IPV6 отличается форматом полей ''IP_SOURCE'' и ''IP_DESTINATION''. |
| | 1014 | 2 | int16 | 43823 | DESTINATION PORT | | | | 1014 | 2 | int16 | 43823 | DESTINATION PORT | | |
| | 2000 | 8 | int64 | 43823 | SESSION_ID | Идентификатор сессии | | | 2000 | 8 | int64 | 43823 | SESSION_ID | Идентификатор сессии | |
| | 3200 | 1 | int8 | 43823 | UDP/TCP | Транспорт: 0 --- UDP, 1 --- TCP | | | 3200 | 1 | int8 | 43823 | UDP/TCP | Транспорт: 0 — UDP, 1 — TCP | |
| | 3201 | - | string | 43823 | DOMAIN | | | | 3201 | - | string | 43823 | DOMAIN | | |
| | 3202 | 2 | int16 | 43823 | RRCLASS | | | | 3202 | 2 | int16 | 43823 | RRCLASS | | |
| Альтернативой является сохранение данных в локальном текстовом логе: | Альтернативой является сохранение данных в локальном текстовом логе: |
| |
| * **''ajb_save_dns''** --- флаг записи в текстовый файл. | * **''ajb_save_dns''** — флаг записи в текстовый файл.\\ |
| * **''ajb_dns_ftimeout''** --- таймаут (в минутах) переключения на следующий файл. | * **''ajb_save_dns=1''** — по умолчанию, отправка DNS-ответов по IPFIX\\ |
| * **''ajb_dns_bufsize''** --- буфер записи в файл. | * **''ajb_save_dns=2''** — позволяет включить отправку DNS-запросов по IPFIX |
| * **''ajb_dns_fsize''** --- ограничение на размер файла. | * **''ajb_dns_ftimeout''** — таймаут (в минутах) переключения на следующий файл. |
| * **''ajb_dns_path''** --- путь к записывающему файлу. | * **''ajb_dns_bufsize''** — буфер записи в файл. |
| | * **''ajb_dns_fsize''** — ограничение на размер файла. |
| | * **''ajb_dns_path''** — путь к записывающему файлу. |
| |
| Переключение на следующий файл происходит, когда размер файла достигнет ''ajb_dns_fsize'' или файл непустой и прошло время ''ajb_dns_ftimeout'' | Переключение на следующий файл происходит, когда размер файла достигнет ''ajb_dns_fsize'' или файл непустой и прошло время ''ajb_dns_ftimeout'' |
| |
| ''ajb_save_dns_format'': формат записи в текстовый файл | ''ajb_save_dns_format'': формат записи в текстовый файл |
| * **''ts''** --- время. | * **''ts''** — время. |
| * **''ipsrc''** --- ip_source. | * **''ipsrc''** — ip_source. |
| * **''ipdst''** --- ip_destination. | * **''ipdst''** — ip_destination. |
| * **''ssid''** --- session_id. | * **''ssid''** — session_id. |
| * **''login''** --- логин. | * **''login''** — логин. |
| |
| * **''host''** --- name, которого запрашивали информацию. | * **''host''** — name, которого запрашивали информацию. |
| * **''rrtype''** --- RR types. | * **''rrtype''** — RR types. |
| * **''rrclass''** --- RR class. | * **''rrclass''** — RR class. |
| * **''ttl''** --- TTL. | * **''ttl''** — TTL. |
| * **''rdlen''** --- размер rdata. | * **''rdlen''** — размер rdata. |
| * **''rdata''** --- ресурс. | * **''rdata''** — ресурс. |
| * **''psrc''** --- port source. | * **''psrc''** — port source. |
| * **''pdst''** --- port destination. | * **''pdst''** — port destination. |
| * **''transport''** --- как получен DNS запрос. | * **''transport''** — как получен DNS запрос. |
| |
| По умолчанию: ''ts:ssid:login:ipsrc:ipdst:psrc:pdst:transport:host:rrtype:rrclass:ttl:rdlen:rdata'' | По умолчанию: ''ts:ssid:login:ipsrc:ipdst:psrc:pdst:transport:host:rrtype:rrclass:ttl:rdlen:rdata'' |
| |
| | =====Отправка template в IPFIX===== |
| | - Транспортный протокол TCP.\\ Template отправляется один раз после установления TCP-сессии. |
| | - Транспортный протокол UDP.\\ Template отправляется по умолчанию каждые 20 секунд. Регулируется параметром ''ipfix_udp_template_timer''. |
