Экспорт в формате IPFIX

Для анализа данных Clickstream (сведения о посещениях абонентами страниц web сайтов) и SIP (сведения о voip переговорах) на внешних системах, можно экспортировать эти данных по сети в формате IPFIX.

Со списком соответствия между протоколом и номером порта в NetFow5 можно ознакомиться здесь.

Для сбора информации в формате IPFIX подойдет любой универсальный IPFIX коллектор, понимающий шаблоны, или утилита IPFIX Receiver.

Для приема, обработки и хранения ClickStream рекомендуется использовать программный продукт для сбора статистики QoE Store и графический интерфейс DPIUI2.

При недостаточном качестве канала связи между СКАТ и NetFlow/IPFIX коллектором СКАТ пропускает отправку части статистики для сохранения производительности. При пропуске чанка информации в fastdpi_alert.log выводится сообщение:

[NFLW] very long operation ….

С версии 12.0 появилась статистика отправки информации по NetFlow/IPFIX (дополнительная секция в fastdpi_stat.log):

    [STAT    ][2022/11/20-17:55:03:213770] Statistics on NFLW_export : {a/b/c%/d/e}

    a - количество выполнения циклов отправки
    b - количество циклов отправки, когда время, затраченное на отправку превысило период выполнения циклов
    c - процент превышения количества циклов отправки: 100 * b/a
    d - время в микросекундах максимальной продолжительности цикла отправки
    e - время в микросекундах периода отправки статистики (значение параметра ''netflow_timeout'' (параметр задается в секундах))

    Пример:
    [STAT    ][2022/11/20-17:55:03:213770] Statistics on NFLW_export : {7/0/0.00%/45297us/30008163us}

Экспорт Clickstream настраивается следующими параметрами:

ipfix_dev=em1
ipfix_udp_collectors=1.2.3.4:1500,1.2.3.5:1501
ipfix_tcp_collectors=1.2.3.6:9418
dbg_log_mask=0x80

где

• em1 --- имя сетевого интерфейса для экспорта.
  
• ipfix_udp_collectors --- адреса UDP коллекторов.
  
• ipfix_tcp_collectors --- адреса TCP коллекторов.
  
• dbg_log_mask=0x80 --- вывод статистической информации об экспорте в лог.

Формат IPFIX шаблонов для IPV6 отличается форматом полей IP_SOURCE и IP_DESTINATION.

Примечание:

• LOCKED = 1 - заблокирован по HTTPS, 2 - редирект HTTP, 3 - заблокирован по HTTP (передается битовой маской)
• HOST_TYPE = 1 в случае HTTP, 2 --- CNAME, 3 --- SNI, 4 --- QUIC
• METHOD = 1 --- GET, 2 --- POST, 3 --- PUT, 4 --- DELETE

При включенном настроечном параметре http_parse_reply=1 дополнительно будет передаваться информация из ответов на запросы. Связать их с ответами можно по идентификатору сессии SESSION_ID, учитывая порядок следования.

При включенном настроечном параметре ssl_parse_reply=1 дополнительно будет передаваться информация из ответов на запросы. Связать их с ответами можно по идентификатору сессии SESSION_ID с учетом порядка следования.

Экспорт метаданных других протоколов для СОРМ настраивается следующими параметрами:

ipfix_dev=em1
ipfix_meta_udp_collectors=1.2.3.4:1500,1.2.3.5:1501
ipfix_meta_tcp_collectors=1.2.3.6:9418
dbg_log_mask=0x80

где

• em1 --- имя сетевого интерфейса для экспорта.
  
• ipfix_meta_udp_collectors --- адреса UDP коллекторов.
  
• ipfix_meta_tcp_collectors --- адреса TCP коллекторов.
  
• dbg_log_mask=0x80 --- вывод статистической информации об экспорте в лог.

Примечание:
IP_SRC --- IP_SOURCE.
IP_DST --- IP_DESTINATION.
GATEWAYS --- список шлюзов (IP или hostname), разделенных запятой.

Примечание: поле MODE содержит тип FTP соединения: (0 --- активный, 1 --- пассивный).

Примечание: поле IM_PROTOCOL содержит тип используемого протокола: 0 --- ICQ, 7 --- XMPP, 106 --- ZELLO/

Примечание: поле EVENT указывает тип события: 1 --- send, 2 --- receive,
ATTACHMENT --- признак наличия вложения: mail_protocol = 0 --- smtp, 1 --- pop3, 2 --- imap. 

Примечание:

• FLW_DIR --- направление пакета по интерфейсам: 0: subs -→ inet, 1: inet -→ subs.
  
• DIR_DATA --- направление пакета по сессии: для TCP 0: клиент -→ сервер, 1: сервер -→ клиент, для UDP --- от кого первый пакет зафиксирован, тот и считается клиентом.
  
• VDPI_PROTO --- протокол, определяющий DPI.
  
• META_PROTO --- внутренний идентификатор протокола (3 --- SIP, 4 --- FTP, 5 --- SMTP, 6 --- POP3, 7 --- IMAP, 8 --- XMPP, 9 --- ICQ, 10 --- RSS, 11 --- NNTP, 12 --- H323, 13 --- ZELLO).
  
• RAW_DATA --- сырые данные.

Для агрегации raw_data, clickstream, http_reply и ssl_reply с данными по сессиям требуется дополнительная обработка или выполнение запроса по БД с ключом Session_ID, или поддержка в утилите rcollector.

Экспорт DNS настраивается следующими параметрами:

ipfix_dev=em1
ipfix_dns_udp_collectors=1.2.3.4:1234
ipfix_dns_tcp_collectors=1.2.3.6:4567

где

• em1 --- имя сетевого интерфейса для экспорта.
  
• ipfix_dns_udp_collectors --- адреса UDP коллекторов.
  
• ipfix_dns_tcp_collectors --- адреса TCP коллекторов.
  

Формат IPFIX шаблонов для IPV6 отличается форматом полей IP_SOURCE и IP_DESTINATION.

Альтернативой является сохранение данных в локальном текстовом логе:

• ajb_save_dns --- флаг записи в текстовый файл.
• ajb_dns_ftimeout --- таймаут (в минутах) переключения на следующий файл.
• ajb_dns_bufsize --- буфер записи в файл.
• ajb_dns_fsize --- ограничение на размер файла.
• ajb_dns_path --- путь к записывающему файлу.

Переключение на следующий файл происходит, когда размер файла достигнет ajb_dns_fsize или файл непустой и прошло время ajb_dns_ftimeout

ajb_save_dns_format: формат записи в текстовый файл

• ts --- время.
• ipsrc --- ip_source.
• ipdst --- ip_destination.
• ssid --- session_id.
• login --- логин.

• host --- name, которого запрашивали информацию.
• rrtype --- RR types.
• rrclass --- RR class.
• ttl --- TTL.
• rdlen --- размер rdata.
• rdata --- ресурс.
• psrc --- port source.
• pdst --- port destination.
• transport --- как получен DNS запрос.

По умолчанию: ts:ssid:login:ipsrc:ipdst:psrc:pdst:transport:host:rrtype:rrclass:ttl:rdlen:rdata