Экспорт Clickstream, Meta информации, DNS в формате IPFIX [Документация VAS Experts]

Различия

Показаны различия между двумя версиями страницы.

Ссылка на это сравнение

Предыдущая версия справа и слеваПредыдущая версия
Следующая версия
Предыдущая версия
dpi:dpi_options:opt_li:li_ipfix [2025/03/12 10:49] – [Таблица] atereschenkodpi:dpi_options:opt_li:li_ipfix [2025/07/24 13:06] (текущий) – [Настройка экспорта DNS-ответов или DNS-запросов] elena.krasnobryzh
Строка 38: Строка 38:
 </code> </code>
 где  где 
-  * **''em1''** --- имя сетевого интерфейса для экспорта.\\  +  * **''em1''** — имя сетевого интерфейса для экспорта.\\  
-  * **''ipfix_udp_collectors''** --- адреса UDP коллекторов.\\  +  * **''ipfix_udp_collectors''** — адреса UDP коллекторов.\\  
-  * **''ipfix_tcp_collectors''** --- адреса TCP коллекторов.\\  +  * **''ipfix_tcp_collectors''** — адреса TCP коллекторов.\\  
-  * **''dbg_log_mask=0x80''** --- вывод статистической информации об экспорте в лог.+  * **''dbg_log_mask=0x80''** — вывод статистической информации об экспорте в лог.
  
 ==== IPFIX шаблона экспорта Clickstream ==== ==== IPFIX шаблона экспорта Clickstream ====
Строка 51: Строка 51:
  
  
-^  Формат IPFIX шаблона экспорта Clickstream                                                                                                                                                                                                                                                                                             ||||||+^  Формат IPFIX шаблона экспорта Clickstream                                                                                                                                                                                                                                                                                             ^^^^^^
 ^  №                                          ^  Кол-во байт  ^  Тип данных    IANA    Описание                                                                                                    Примечание                                                                                                                           ^ ^  №                                          ^  Кол-во байт  ^  Тип данных    IANA    Описание                                                                                                    Примечание                                                                                                                           ^
 |  1001                                        4            |  int32        |  43823  | TIME_STAMP                                                                                                  | Метка времени                                                                                                                         | |  1001                                        4            |  int32        |  43823  | TIME_STAMP                                                                                                  | Метка времени                                                                                                                         |
Строка 74: Строка 74:
 |  59                                          2            |  int16        |  -      | POST_VLAN_ID                                                                                                | POST VLAN                                                                                                                             | |  59                                          2            |  int16        |  -      | POST_VLAN_ID                                                                                                | POST VLAN                                                                                                                             |
 |  56                                          6            |  mac_address  |  -      | Source MAC Address                                                                                          |                                                                                                                                       | |  56                                          6            |  mac_address  |  -      | Source MAC Address                                                                                          |                                                                                                                                       |
-|  57                                          6            |  mac_adress   |  -      | Destination MAC Address                                                                                                                                                                                                                           |+|  57                                          6            |  mac_address  |  -      | Destination MAC Address                                                                                                                                                                                                                           |
 |  2017                                        -            |  raw          |  43823  | MPLS Labels                                                                                                                                                                                                                                       | |  2017                                        -            |  raw          |  43823  | MPLS Labels                                                                                                                                                                                                                                       |
 |  2018                                        4            |  int32        |  43823  | TCP Sequence                                                                                                |                                                                                                                                       | |  2018                                        4            |  int32        |  43823  | TCP Sequence                                                                                                |                                                                                                                                       |
Строка 80: Строка 80:
 **Примечание:**\\  **Примечание:**\\ 
   * ''LOCKED'' = 1 - заблокирован по HTTPS, 2 - редирект HTTP, 3 - заблокирован по HTTP (передается битовой маской)   * ''LOCKED'' = 1 - заблокирован по HTTPS, 2 - редирект HTTP, 3 - заблокирован по HTTP (передается битовой маской)
-  * ''HOST_TYPE'' = 1 в случае HTTP, 2 --- CNAME, 3 --- SNI, 4 --- QUIC +  * ''HOST_TYPE'' = 1 в случае HTTP, 2 — CNAME, 3 — SNI, 4 — QUIC 
-  * ''METHOD'' = 1 --- GET, 2 --- POST, 3 --- PUT, 4 --- DELETE+  * ''METHOD'' = 1 — GET, 2 — POST, 3 — PUT, 4 — DELETE
  
 При включенном настроечном параметре ''http_parse_reply=1'' дополнительно будет передаваться информация из ответов на запросы. Связать их с ответами можно по идентификатору сессии ''SESSION_ID'', учитывая порядок следования. При включенном настроечном параметре ''http_parse_reply=1'' дополнительно будет передаваться информация из ответов на запросы. Связать их с ответами можно по идентификатору сессии ''SESSION_ID'', учитывая порядок следования.
Строка 133: Строка 133:
 </code> </code>
 где  где 
-  * **''em1''** --- имя сетевого интерфейса для экспорта.\\  +  * **''em1''** — имя сетевого интерфейса для экспорта.\\  
-  * **''ipfix_meta_udp_collectors''** --- адреса UDP коллекторов.\\  +  * **''ipfix_meta_udp_collectors''** — адреса UDP коллекторов.\\  
-  * **''ipfix_meta_tcp_collectors''** --- адреса TCP коллекторов.\\  +  * **''ipfix_meta_tcp_collectors''** — адреса TCP коллекторов.\\  
-  * **''dbg_log_mask=0x80''** --- вывод статистической информации об экспорте в лог.+  * **''dbg_log_mask=0x80''** — вывод статистической информации об экспорте в лог.
  
 ==== Форматы IPFIX шаблона экспорта метаданных ==== ==== Форматы IPFIX шаблона экспорта метаданных ====
Строка 162: Строка 162:
  
 **Примечание:** \\ **Примечание:** \\
-''IP_SRC'' --- ''IP_SOURCE''.\\ +''IP_SRC'' — ''IP_SOURCE''.\\ 
-''IP_DST'' --- ''IP_DESTINATION''.\\ +''IP_DST'' — ''IP_DESTINATION''.\\ 
-''GATEWAYS'' --- список шлюзов (IP или hostname), разделенных запятой.+''GATEWAYS'' — список шлюзов (IP или hostname), разделенных запятой.
  
 ^  Формат IPFIX шаблона экспорта метаданных FTP  ^^^^^^ ^  Формат IPFIX шаблона экспорта метаданных FTP  ^^^^^^
Строка 184: Строка 184:
 |  2017  |  -    raw  |  43823  |MPLS Labels|| |  2017  |  -    raw  |  43823  |MPLS Labels||
  
-**Примечание:** поле ''MODE'' содержит тип FTP соединения: (0 --- активный,--- пассивный).+**Примечание:** поле ''MODE'' содержит тип FTP соединения: (0 — активный,— пассивный).
  
 ^  Формат IPFIX шаблона экспорта метаданных мессенджеров (XMPP)  ^^^^^^ ^  Формат IPFIX шаблона экспорта метаданных мессенджеров (XMPP)  ^^^^^^
Строка 206: Строка 206:
 |  2017  |  -    raw  |  43823  |MPLS Labels|| |  2017  |  -    raw  |  43823  |MPLS Labels||
  
-**Примечание:** поле ''IM_PROTOCOL'' содержит тип используемого протокола:--- ICQ, 7 --- XMPP, 106 --- ZELLO/+**Примечание:** поле ''IM_PROTOCOL'' содержит тип используемого протокола:— ICQ, 7 — XMPP, 106 — ZELLO
  
 ^  Формат IPFIX шаблона экспорта метаданных почтовых протоколов (POP, IMAP, SMTP)  ^^^^^^ ^  Формат IPFIX шаблона экспорта метаданных почтовых протоколов (POP, IMAP, SMTP)  ^^^^^^
Строка 231: Строка 231:
 |  2017  |  -    raw  |  43823  |MPLS Labels|| |  2017  |  -    raw  |  43823  |MPLS Labels||
  
-**Примечание:** поле ''EVENT'' указывает тип события:--- send, 2 --- receive, \\ +**Примечание:** поле ''EVENT'' указывает тип события:— send, 2 — receive, \\ 
-''ATTACHMENT'' --- признак наличия вложения: ''mail_protocol =''--- smtp, 1 --- pop3, 2 --- imap. +''ATTACHMENT'' — признак наличия вложения: ''mail_protocol =''— smtp, 1 — pop3, 2 — imap. 
  
 ^  Формат IPFIX шаблона экспорта сырых нераспарсенных метаданных  ^^^^^^ ^  Формат IPFIX шаблона экспорта сырых нераспарсенных метаданных  ^^^^^^
Строка 258: Строка 258:
  
 **Примечание:**  **Примечание:** 
-  * **''FLW_DIR''** --- направление пакета по интерфейсам: 0: subs --> inet, 1: inet --> subs. \\ +  * **''FLW_DIR''** — направление пакета по интерфейсам: 0: subs --> inet, 1: inet --> subs. \\ 
-  * **''DIR_DATA''** --- направление пакета по сессии: для TCP 0: клиент --> сервер, 1: сервер --> клиент, для UDP --- от кого первый пакет зафиксирован, тот и считается клиентом.\\ +  * **''DIR_DATA''** — направление пакета по сессии: для TCP 0: клиент --> сервер, 1: сервер --> клиент, для UDP — от кого первый пакет зафиксирован, тот и считается клиентом.\\ 
-  * **''VDPI_PROTO''** --- протокол, определяющий DPI.\\  +  * **''VDPI_PROTO''** — протокол, определяющий DPI.\\  
-  * **''META_PROTO''** --- внутренний идентификатор протокола (3 --- SIP, 4 --- FTP, 5 --- SMTP, 6 --- POP3, 7 --- IMAP, 8 --- XMPP, 9 --- ICQ, 10 --- RSS, 11 --- NNTP, 12 --- H323, 13 --- ZELLO).\\ +  * **''META_PROTO''** — внутренний идентификатор протокола (3 — SIP, 4 — FTP, 5 — SMTP, 6 — POP3, 7 — IMAP, 8 — XMPP, 9 — ICQ, 10 — RSS, 11 — NNTP, 12 — H323, 13 — ZELLO).\\ 
-  * **''RAW_DATA''** --- сырые данные.+  * **''RAW_DATA''** — сырые данные.
  
 Для агрегации ''raw_data'', ''clickstream'', ''http_reply'' и ''ssl_reply'' с данными по сессиям требуется дополнительная обработка Для агрегации ''raw_data'', ''clickstream'', ''http_reply'' и ''ssl_reply'' с данными по сессиям требуется дополнительная обработка
 или выполнение запроса по БД с ключом ''Session_ID'', или поддержка в утилите ''rcollector'' или выполнение запроса по БД с ключом ''Session_ID'', или поддержка в утилите ''rcollector''
  
-===== DNS ===== +===== Настройка экспорта DNS-ответов или DNS-запросов ===== 
  
 Экспорт DNS настраивается следующими параметрами: Экспорт DNS настраивается следующими параметрами:
Строка 276: Строка 276:
 </code> </code>
 где  где 
-  * **''em1''** --- имя сетевого интерфейса для экспорта.\\  +  * **''em1''** — имя сетевого интерфейса для экспорта.\\  
-  * **''ipfix_dns_udp_collectors''** --- адреса UDP коллекторов.\\  +  * **''ipfix_dns_udp_collectors''** — адреса UDP коллекторов.\\  
-  * **''ipfix_dns_tcp_collectors''** --- адреса TCP коллекторов.\\ +  * **''ipfix_dns_tcp_collectors''** — адреса TCP коллекторов.\\ 
  
  Формат IPFIX шаблонов для IPV6 отличается форматом полей ''IP_SOURCE'' и ''IP_DESTINATION''.    Формат IPFIX шаблонов для IPV6 отличается форматом полей ''IP_SOURCE'' и ''IP_DESTINATION''.  
Строка 296: Строка 296:
 |  1014                                2            |  int16        |  43823  | DESTINATION PORT                                                                                                                                               | |  1014                                2            |  int16        |  43823  | DESTINATION PORT                                                                                                                                               |
 |  2000                                8            |  int64        |  43823  | SESSION_ID               | Идентификатор сессии                                                                                                                  | |  2000                                8            |  int64        |  43823  | SESSION_ID               | Идентификатор сессии                                                                                                                  |
-|  3200                                1            |  int8          43823  | UDP/TCP                  | Транспорт:--- UDP, 1 --- TCP                                                                                                       |+|  3200                                1            |  int8          43823  | UDP/TCP                  | Транспорт:— UDP, 1 — TCP                                                                                                       |
 |  3201                                -            |  string        43823  | DOMAIN                                                                                                                                                         | |  3201                                -            |  string        43823  | DOMAIN                                                                                                                                                         |
 |  3202                                2            |  int16        |  43823  | RRCLASS                  |                                                                                                                                       | |  3202                                2            |  int16        |  43823  | RRCLASS                  |                                                                                                                                       |
Строка 311: Строка 311:
 Альтернативой является сохранение данных в локальном текстовом логе: Альтернативой является сохранение данных в локальном текстовом логе:
  
-  * **''ajb_save_dns''** --- флаг записи в текстовый файл. +  * **''ajb_save_dns''** — флаг записи в текстовый файл.\\ 
-  * **''ajb_dns_ftimeout''** --таймаут (в минутах) переключения на следующий файл. +    * **''ajb_save_dns=1''** — по умолчанию, отправка DNS-ответов по IPFIX\\ 
-  * **''ajb_dns_bufsize''** --- буфер записи в файл. +    * **''ajb_save_dns=2''** — позволяет включить отправку DNS-запросов по IPFIX 
-  * **''ajb_dns_fsize''** --- ограничение на размер файла. +  * **''ajb_dns_ftimeout''** — таймаут (в минутах) переключения на следующий файл. 
-  * **''ajb_dns_path''** --- путь к записывающему файлу.+  * **''ajb_dns_bufsize''** — буфер записи в файл. 
 +  * **''ajb_dns_fsize''** — ограничение на размер файла. 
 +  * **''ajb_dns_path''** — путь к записывающему файлу.
  
 Переключение на следующий файл происходит, когда размер файла достигнет ''ajb_dns_fsize'' или файл непустой и прошло время ''ajb_dns_ftimeout'' Переключение на следующий файл происходит, когда размер файла достигнет ''ajb_dns_fsize'' или файл непустой и прошло время ''ajb_dns_ftimeout''
  
 ''ajb_save_dns_format'': формат записи в текстовый файл ''ajb_save_dns_format'': формат записи в текстовый файл
-  * **''ts''** --- время. +  * **''ts''** — время. 
-  * **''ipsrc''** --- ip_source. +  * **''ipsrc''** — ip_source. 
-  * **''ipdst''** --- ip_destination. +  * **''ipdst''** — ip_destination. 
-  * **''ssid''** --- session_id. +  * **''ssid''** — session_id. 
-  * **''login''** --- логин.+  * **''login''** — логин.
  
-  * **''host''** --- name, которого запрашивали информацию. +  * **''host''** — name, которого запрашивали информацию. 
-  * **''rrtype''** --- RR types. +  * **''rrtype''** — RR types. 
-  * **''rrclass''** --- RR class. +  * **''rrclass''** — RR class. 
-  * **''ttl''** --- TTL. +  * **''ttl''** — TTL. 
-  * **''rdlen''** --- размер rdata. +  * **''rdlen''** — размер rdata. 
-  * **''rdata''** --- ресурс. +  * **''rdata''** — ресурс. 
-  * **''psrc''** --- port source. +  * **''psrc''** — port source. 
-  * **''pdst''** --- port destination. +  * **''pdst''** — port destination. 
-  * **''transport''** --- как получен DNS запрос.+  * **''transport''** — как получен DNS запрос.
  
 По умолчанию: ''ts:ssid:login:ipsrc:ipdst:psrc:pdst:transport:host:rrtype:rrclass:ttl:rdlen:rdata'' По умолчанию: ''ts:ssid:login:ipsrc:ipdst:psrc:pdst:transport:host:rrtype:rrclass:ttl:rdlen:rdata''
  
 +=====Отправка template в IPFIX===== 
 +  - Транспортный протокол TCP.\\ Template отправляется один раз после установления TCP-сессии. 
 +  - Транспортный протокол UDP.\\ Template отправляется по умолчанию каждые 20 секунд. Регулируется параметром ''ipfix_udp_template_timer''.