Экспорт Clickstream, Meta информации, DNS в формате IPFIX

Для анализа данных Clickstream (сведения о посещениях абонентами страниц web сайтов) и SIP (сведения о voip переговорах) на внешних системах, можно экспортировать эти данных по сети в формате IPFIX.

Со списком соответствия между протоколом и номером порта в NetFow5 можно ознакомиться здесь.

Для сбора информации в формате IPFIX подойдет любой универсальный IPFIX коллектор, понимающий шаблоны, или утилита IPFIX Receiver.

Для приема, обработки и хранения ClickStream рекомендуется использовать программный продукт для сбора статистики QoE Store и графический интерфейс DPIUI2.

При недостаточном качестве канала связи между СКАТ и NetFlow/IPFIX коллектором СКАТ пропускает отправку части статистики для сохранения производительности. При пропуске чанка информации в fastdpi_alert.log выводится сообщение:

[NFLW] very long operation ….

С версии 12.0 появилась статистика отправки информации по NetFlow/IPFIX (дополнительная секция в fastdpi_stat.log):

    [STAT    ][2022/11/20-17:55:03:213770] Statistics on NFLW_export : {a/b/c%/d/e}

    a - количество выполнения циклов отправки
    b - количество циклов отправки, когда время, затраченное на отправку превысило период выполнения циклов
    c - процент превышения количества циклов отправки: 100 * b/a
    d - время в микросекундах максимальной продолжительности цикла отправки
    e - время в микросекундах периода отправки статистики (значение параметра ''netflow_timeout'' (параметр задается в секундах))

    Пример:
    [STAT    ][2022/11/20-17:55:03:213770] Statistics on NFLW_export : {7/0/0.00%/45297us/30008163us}

Экспорт Clickstream настраивается следующими параметрами:

ipfix_dev=em1
ipfix_udp_collectors=1.2.3.4:1500,1.2.3.5:1501
ipfix_tcp_collectors=1.2.3.6:9418
dbg_log_mask=0x80

где

• em1 — имя сетевого интерфейса для экспорта.
  
• ipfix_udp_collectors — адреса UDP коллекторов.
  
• ipfix_tcp_collectors — адреса TCP коллекторов.
  
• dbg_log_mask=0x80 — вывод статистической информации об экспорте в лог.

Параметр ipfix_mtu_limit задает максимальный размер пакета UDP при отправке IPFIX. По умолчанию равен минимальному размеру MTU используемых для отправки интерфейсов.

Формат IPFIX шаблонов для IPV6 отличается форматом полей IP_SOURCE и IP_DESTINATION.

Примечание:

• LOCKED = 1 - заблокирован по HTTPS, 2 - редирект HTTP, 3 - заблокирован по HTTP (передается битовой маской)
• HOST_TYPE = 1 в случае HTTP, 2 — CNAME, 3 — SNI, 4 — QUIC
• METHOD = 1 — GET, 2 — POST, 3 — PUT, 4 — DELETE

При включенном настроечном параметре http_parse_reply=1 дополнительно будет передаваться информация из ответов на запросы. Связать их с ответами можно по идентификатору сессии SESSION_ID, учитывая порядок следования.

При включенном настроечном параметре ssl_parse_reply=1 дополнительно будет передаваться информация из ответов на запросы. Связать их с ответами можно по идентификатору сессии SESSION_ID с учетом порядка следования.

Экспорт метаданных других протоколов для СОРМ настраивается следующими параметрами:

ipfix_dev=em1
ipfix_meta_udp_collectors=1.2.3.4:1500,1.2.3.5:1501
ipfix_meta_tcp_collectors=1.2.3.6:9418
dbg_log_mask=0x80

где

• em1 — имя сетевого интерфейса для экспорта.
  
• ipfix_meta_udp_collectors — адреса UDP коллекторов.
  
• ipfix_meta_tcp_collectors — адреса TCP коллекторов.
  
• dbg_log_mask=0x80 — вывод статистической информации об экспорте в лог.

Примечание:
IP_SRC — IP_SOURCE.
IP_DST — IP_DESTINATION.
GATEWAYS — список шлюзов (IP или hostname), разделенных запятой.

Примечание: поле MODE содержит тип FTP соединения: (0 — активный, 1 — пассивный).

Примечание: поле IM_PROTOCOL содержит тип используемого протокола: 0 — ICQ, 7 — XMPP, 106 — ZELLO

Примечание: поле EVENT указывает тип события: 1 — send, 2 — receive,
ATTACHMENT — признак наличия вложения: mail_protocol = 0 — smtp, 1 — pop3, 2 — imap. 

Примечание:

• FLW_DIR — направление пакета по интерфейсам: 0: subs -→ inet, 1: inet -→ subs.
  
• DIR_DATA — направление пакета по сессии: для TCP 0: клиент -→ сервер, 1: сервер -→ клиент, для UDP — от кого первый пакет зафиксирован, тот и считается клиентом.
  
• VDPI_PROTO — протокол, определяющий DPI.
  
• META_PROTO — внутренний идентификатор протокола (3 — SIP, 4 — FTP, 5 — SMTP, 6 — POP3, 7 — IMAP, 8 — XMPP, 9 — ICQ, 10 — RSS, 11 — NNTP, 12 — H323, 13 — ZELLO).
  
• RAW_DATA — сырые данные.

Для агрегации raw_data, clickstream, http_reply и ssl_reply с данными по сессиям требуется дополнительная обработка или выполнение запроса по БД с ключом Session_ID, или поддержка в утилите rcollector.

Экспорт DNS настраивается следующими параметрами:

ipfix_dev=em1
ipfix_dns_udp_collectors=1.2.3.4:1234
ipfix_dns_tcp_collectors=1.2.3.6:4567

где

• em1 — имя сетевого интерфейса для экспорта.
  
• ipfix_dns_udp_collectors — адреса UDP коллекторов.
  
• ipfix_dns_tcp_collectors — адреса TCP коллекторов.
  

Формат IPFIX шаблонов для IPV6 отличается форматом полей IP_SOURCE и IP_DESTINATION.

Альтернативой является сохранение данных в локальном текстовом логе:

• ajb_save_dns — флаг записи в текстовый файл.
  
  • ajb_save_dns=0 — не сохранять
  • ajb_save_dns=1 — по умолчанию, отправка DNS-ответов по IPFIX
    
  • ajb_save_dns=2 — позволяет включить отправку DNS-запросов по IPFIX
  • ajb_save_dns=4 — сохранять ответы DNS с типом MX
• ajb_dns_ftimeout — таймаут (в минутах) переключения на следующий файл.
• ajb_dns_bufsize — буфер записи в файл.
• ajb_dns_fsize — ограничение на размер файла.
• ajb_dns_path — путь к записывающему файлу.

Переключение на следующий файл происходит, когда размер файла достигнет ajb_dns_fsize или файл непустой и прошло время ajb_dns_ftimeout

ajb_save_dns_format: формат записи в текстовый файл

• ts — время.
• ipsrc — ip_source.
• ipdst — ip_destination.
• ssid — session_id.
• login — логин.

• host — name, которого запрашивали информацию.
• rrtype — RR types.
• rrclass — RR class.
• ttl — TTL.
• rdlen — размер rdata.
• rdata — ресурс.
• psrc — port source.
• pdst — port destination.
• transport — как получен DNS запрос.

По умолчанию: ts:ssid:login:ipsrc:ipdst:psrc:pdst:transport:host:rrtype:rrclass:ttl:rdlen:rdata

1. Транспортный протокол TCP.
   Template отправляется один раз после установления TCP-сессии.
2. Транспортный протокол UDP.
   Template отправляется по умолчанию каждые 20 секунд. Регулируется параметром ipfix_udp_template_timer.