Для анализа данных Clickstream (сведения о посещениях абонентами страниц web сайтов) и SIP (сведения о voip переговорах) на внешних системах, можно экспортировать эти данных по сети в формате IPFIX.

Со списком соответствия между протоколом и номером порта в NetFow5 можно ознакомиться здесь.

Для сбора информации в формате IPFIX подойдет любой универсальный IPFIX коллектор,понимающий шаблоны, или утилита IPFIX Receiver.

Для приема, обработки и хранения ClickStream рекомендуется использовать программный продукт для сбора статистики QoE Store и графический интерфейс DPIUI2.

При недостаточном качестве канала связи между СКАТ и NetFlow/IPFIX коллектором СКАТ пропускает отправку части статистики для сохранения производительности. При ропуске чанка информации в fastdpi_alert.log выводится сообщение:

[NFLW] very long operation ….

С версии 12.0 появилась статистика отправки информации по NetFlow/IPFIX (дополнительная секция в fastdpi_stat.log):

    [STAT    ][2022/11/20-17:55:03:213770] Statistics on NFLW_export : {a/b/c%/d/e}

    a - кол-во выполнения циклов отправки
    b - кол-во циклов отправки, когда время затраченное на отправку превысило период выполнения циклов
    c - процент превышения кол-ва циклов отправки : 100 * b/a
    d - время в микросекундах максимальной продолжительности цикла отправки
    e - время в микросекундах периода отправки статистики ( значение параметра ''netflow_timeout''( параметр задается в секундах ))

    Пример:
    [STAT    ][2022/11/20-17:55:03:213770] Statistics on NFLW_export : {7/0/0.00%/45297us/30008163us}

Экспорт Clickstream настраивается следующими параметрами:

ipfix_dev=em1
ipfix_udp_collectors=1.2.3.4:1500,1.2.3.5:1501
ipfix_tcp_collectors=1.2.3.6:9418
dbg_log_mask=0x80

где

• em1 – имя сетевого интерфейса для экспорта.
  
• ipfix_udp_collectors – адреса UDP коллекторов.
  
• ipfix_tcp_collectors – адреса TCP коллекторов.
  
• dbg_log_mask=0x80 – вывод статистической информации об экспорте в лог.

Формат IPFIX шаблонов для IPV6 отличается форматом полей IP_SOURCE и IP_DESTINATION.

Примечание: LOCKED – битовая маска, содержит признак того, был ли ресурс заблокирован или переадресован (0x3 для HTTP, 0x1 для остального).
HOST_TYPE = 1 в случае HTTP, 2 - CNAME, 3 - SNI, 4 - QUIC.
METHOD = 1 - GET, 2 - POST, 3 - PUT, 4 - DELETE.

При включенном настроечном параметре "http_parse_reply=1" дополнительно будет передаваться информация из ответов на запросы. Связать их с ответами можно по идентификатору сессии SESSION_ID, учитывая порядок следования.

При включенном настроечном параметре "ssl_parse_reply=1" дополнительно будет передаваться информация из ответов на запросы. Связать их с ответами можно по идентификатору сессии SESSION_ID с учетом порядка следования.

Экспорт метаданных других протоколов для СОРМ настраивается следующими параметрами:

ipfix_dev=em1
ipfix_meta_udp_collectors=1.2.3.4:1500,1.2.3.5:1501
ipfix_meta_tcp_collectors=1.2.3.6:9418
dbg_log_mask=0x80

где

• em1 – имя сетевого интерфейса для экспорта.
  
• ipfix_meta_udp_collectors – адреса UDP коллекторов.
  
• ipfix_meta_tcp_collectors – адреса TCP коллекторов.
  
• dbg_log_mask=0x80 – вывод статистической информации об экспорте в лог.

Примечание:
IP_SRC – IP_SOURCE.
IP_DST – IP_DESTINATION.
GATEWAYS – список шлюзов (IP или hostname), разделенных запятой.

Примечание: поле MODE содержит тип FTP соединения : ( 0 - активный, 1 - пассивный ).

Примечание: поле IM_PROTOCOL содержит тип используемого протокола: 0 -ICQ, 7 - XMPP, 106 - ZELLO/

Примечание: поле EVENT указывает тип события 1 - send, 2 - receive,
ATTACHMENT – признак наличия вложения: mail_protocol = 0 - smtp, 1 - pop3, 2 - imap. 

Примечание:

• FLW_DIR – направление пакета по интерфейсам: 0 : subs -→ inet, 1 : inet -→ subs.
  
• DIR_DATA – направление пакета по сессии: для TCP 0 : клиент -→ сервер, 1 : сервер -→ клиент, для UDP - от кого первый пакет зафиксирован, тот и клиентом считается.
  
• VDPI_PROTO – протокол, определяющий dpi.
  
• META_PROTO – внутренний идентификатор протокола (3 - SIP, 4 - FTP, 5 - SMTP, 6 - POP3, 7 - IMAP, 8 - XMPP, 9 - ICQ, 10 - RSS, 11 - NNTP, 12 - H323, 13 - ZELLO).
  
• RAW_DATA – сырые данные.

Для агрегации "raw_data", "clickstream", "http_reply" и "ssl_reply" с данными по сессиям требуется дополнительная обработка или выполнение запроса по БД с ключом Session_ID, или поддержка в утилилите rcollector.

Экспорт DNS настраивается следующими параметрами:

ipfix_dev=em1
ipfix_dns_udp_collectors=1.2.3.4:1234
ipfix_dns_tcp_collectors=1.2.3.6:4567

где

• em1 – имя сетевого интерфейса для экспорта.
  
• ipfix_dns_udp_collectors – адреса UDP коллекторов.
  
• ipfix_dns_tcp_collectors – адреса TCP коллекторов.
  

Формат IPFIX шаблонов для IPV6 отличается форматом полей IP_SOURCE и IP_DESTINATION.

Альтернативой является сохранение данных в локальном текстовом логе:

• ajb_save_dns – флаг записи в текстовый файл.
• ajb_dns_ftimeout – таймаут ( в минутах ) переключения на следующий файл.
• ajb_dns_bufsize – буфер записи в файл.
• ajb_dns_fsize – ограничение на размер файла.
• ajb_dns_path – путь к записывающему файлу.

Переключение на следующий файл происходит, когда размер файла достигнет ajb_dns_fsize или файл непустой и прошло время ajb_dns_ftimeout

ajb_save_dns_format : формат записи в текстовый файл

• "ts" – время.
• "ipsrc" – ip_source.
• "ipdst" – ip_destination.
• "ssid" – session_id.
• "login" – логин.

• "host" – name, которого запрашивали информацию.
• "rrtype" – RR types.
• "rrclass" – RR class.
• "ttl" – TTL.
• "rdlen" – размер rdata.
• "rdata" – ресурс.
• "psrc" – port source.
• "pdst" – port destination.
• "transport" – как пролучен DNS запрос.

По умолчанию: "ts:ssid:login:ipsrc:ipdst:psrc:pdst:transport:host:rrtype:rrclass:ttl:rdlen:rdata"