Настройка экспорта Full NetFlow в формате IPFIX [Документация VAS Experts]
Документация VAS Experts Документация VAS Experts-mobile
in

Настройки

  • Показать страницу
  • История страницы
  • Экспорт в PDF
  • Свернуть / развернуть всё
  • Ссылки сюда
  • Показать страницу
  • История страницы
  • Экспорт в PDF
  • Свернуть / развернуть всё
  • Ссылки сюда

    • Различия

    Показаны различия между двумя версиями страницы.

    Ссылка на это сравнение

    Предыдущая версия справа и слеваПредыдущая версия
    Следующая версия    		Предыдущая версия
    dpi:dpi_options:opt_statistics:statistics_ipfix [2025/12/12 07:37] – elena.krasnobryzhdpi:dpi_options:opt_statistics:statistics_ipfix [2026/02/03 13:55] (текущий) – [Полный Netflow] elena.krasnobryzh
    Строка 1: Строка 1:
     ====== Настройка экспорта Full NetFlow в формате IPFIX ====== ====== Настройка экспорта Full NetFlow в формате IPFIX ======
    -{{indexmenu_n>3}}+{{indexmenu_n>2}}
      
    -Параметр ''netflow_full_collector_type'' определяет формат экспорта полного NetFlow. Возможные значения:  +===== Общие настройки===== 
     +Включение сбора и экспорта статистики:\\  
     +<code>netflow=1</code> 
     +  * 0 или не указано - опция отключена\\  
     +  * 1 - экспорт статистики по протоколам (номерам портов)\\  
     +  * 2 - экспорт статистики по направлениям (номерам автономных систем)\\  
     +  * 4 - экспорт статистики для биллинга\\  
     +  * 8 - экспорт полной статистики по сессиям\\  
     +<note important>3 = 1 + 2 — одновременный экспорт статистики по протоколам и по направлениям (аналогично для других вариантов)\\  
     +12 = 8 + 4 — одновременный экспорт Full NetFlow и биллинговой статистики. В частности используется дла [[dpi:bras_bng:radius_integration:radius_accounting|RADIUS Accounting]]</note>  
     + 
     +Имя сетевого интерфейса, через который будет отправляться netflow со статистикой: 
     +<code>netflow_dev=eth2</code> 
     + 
     +Периодичность экспорта данных (в секундах): 
     +<code>netflow_timeout=10</code> 
     + 
     +Время ожидания сессии: 
     +  * ''netflow_passive_timeout'' — время ожидания активности в сессии после которого, если не было активности, сессия считается завершенной и  происходит передача по ней информации 
     +  * ''netflow_active_timeout'' — время, через которое сообщается информация по длинным сессиям (т.е. фактически длинные сессии разбиваются на фрагменты данной продолжительности) 
     + 
     +Чтобы сгладить пики и равномернее распределить нагрузку на коллектор установите настроечный параметр <code>netflow_rate_limit=60</code> где 60 это максимальный поток netflow в Мбит/c. <note important>Значение параметра следует устанавливать исходя из расчета: 6 Мбит/c на каждый 1G внешнего канала.\\ Установка недостаточной величины приведет к отбрасыванию данных уже на стороне DPI.\\ Информация об этом событии будет зафиксирована в логе **/var/log/dpi/fastdpi_alert.log**.</note> 
     + 
     +<note warning>Нужно выделить отдельный коллектор для каждого типа, чтобы данные не смешивались!</note> 
     + 
     +<note tip> 
     +Параметры IPFIX/Netflow можно изменять без перезагрузки fastDPI.\\ 
     +Конфигурационный параметр ''ipfix_reserved'' позволяет зарезервировать необходимую память для возможности включения/измененения параметров IPFIX/Netflow.\\ 
     +В случае задания параметров IPFIX/Netflow в конфигруационном файле, автоматически включается резервирование памяти для IPFIX/Netflow, параметры и новые типы экспортеров IPFIX/Netflow можно изменять без перезагрузки fastDPI. 
     +</note> 
     + 
     +=====Полный NetFlow===== 
     + 
     +IP адрес и номер порта коллектора **NetFlow с полной статистикой**, нужно выделить отдельный коллектор, чтобы данные не смешивались с другой статистикой: 
     +<code>netflow_full_collector=192.168.0.1:9996</code> 
     + 
     +В формате netflow5 в полной статистике сохранены оригинальные номера портов, а информация о детектированных протоколах передается в обычно неиспользуемых байтах 46-47. Если требуется проанализировать используемые протоколы, то можно установить настройку, по которой информация о протоколах будет передаваться в номере порта: 
     +<code>netflow_full_port_swap=1</code> 
     +Для совместимости со старыми коллекторами эта настройка действует и для формата IPFIX, но использовать ее совместно с IPFIX не рекомендуется, т.к. информация о протоколе передается в IPFIX в отдельном специальном поле.     
     + 
     +Также необходимо определить формат экспорта полного NetFlow: 
     +<code>netflow_full_collector_type=2</code> 
     +Возможные значения:  
       * ''**0**'' - экспорт в формате NetFlow5 (значение по умолчанию).   * ''**0**'' - экспорт в формате NetFlow5 (значение по умолчанию).
       * ''**1**'' - экспорт IPFIX на UDP коллектор.   * ''**1**'' - экспорт IPFIX на UDP коллектор.
       * ''**2**'' - экспорт IPFIX на TCP коллектор.   * ''**2**'' - экспорт IPFIX на TCP коллектор.
     +<note>**Рекомендуем использовать передачу Полного NetFlow в формате IPFIX через TCP (значение параметра ''2'').**\\
     +Протокол NetFlow не гарантирует доставку пакетов (т.к. работает поверх UDP) и если коллектор не справляется с приемом данных, то часть пакетов просто теряется. Передача полной статистики netflow для канала 10Gтребует от коллектора возможности принимать данные со скоростью не менее 60 Мбит/c.\\ Проверьте возможности вашего коллектора перед направлением на него netflow трафика. В тоже время при передаче netflow из DPI могут кратковременно возникать пики до 100 Мбит/c. Такой поток данных без потерь способны принять немногие коллекторы, например, nfsen/nfdump.</note>
      
     Параметр ''netflow_tos_format'' определяет формат данных поля TOS в IPFIX. Возможные значения:\\  Параметр ''netflow_tos_format'' определяет формат данных поля TOS в IPFIX. Возможные значения:\\ 
    Строка 24: Строка 68:
     Параметр ''ipfix_mtu_limit'' задает максимальный размер пакета UDP при отправке IPFIX. По умолчанию равен минимальному размеру MTU используемых для отправки интерфейсов. Параметр ''ipfix_mtu_limit'' задает максимальный размер пакета UDP при отправке IPFIX. По умолчанию равен минимальному размеру MTU используемых для отправки интерфейсов.
      
    -В параметре ''tethering_ttl_allowed = 249:59'' указывается список допустимых TTL для трафика от абонента, которые не считаются tethering. +В параметре ''tethering_ttl_allowed = 128:64'' указывается список допустимых значений TTL для трафика от абонента, которые не считаются tethering. Значения перечисляются через ':'. Количество значений до 256 (0-255).
    - +
    -<note tip> +
    -Параметры IPFIX/Netflow можно изменять без перезагрузки fastDPI.\\ +
    -Конфигурационный параметр ''ipfix_reserved'' позволяет зарезервировать необходимую память для возможности включения/измененения параметров IPFIX/Netflow.\\ +
    -В случае задания параметров IPFIX/Netflow в конфигруационном файле, автоматически включается резервирование памяти для IPFIX/Netflow, параметры и новые типы экспортеров IPFIX/Netflow можно изменять без перезагрузки fastDPI. +
    -</note>+
      
     <note tip>Для приема, обработки и хранения IPFIX рекомендуется использовать [[dpi:qoe_analytics|Программный продукт для сбора статистики QoE Store]] и [[dpi:dpi_components:dpiui|Графический интерфейс DPIUI2]].\\ <note tip>Для приема, обработки и хранения IPFIX рекомендуется использовать [[dpi:qoe_analytics|Программный продукт для сбора статистики QoE Store]] и [[dpi:dpi_components:dpiui|Графический интерфейс DPIUI2]].\\
    Строка 37: Строка 75:
      
     ===== Шаблон экспорта в формате IPFIX (Netflow v10) для протокола IPv4 ===== ===== Шаблон экспорта в формате IPFIX (Netflow v10) для протокола IPv4 =====
    -^  Шаблон экспорта для IPv4                                                                                                                                                                                                                                                                        ^^^^^^^ +^  Шаблон экспорта для IPv4                                                                                                                                                                                                                                                                                   ^^^^^^^ 
    -^ №                          ^ Кол-во байт  ^ Тип данных   ^ IANA   ^ Описание                         ^ Примечание                                                                                                                                                           ^ Использование в QoEStor  ^ +^ №                          ^ Кол-во байт  ^ Тип данных   ^ IANA   ^ Описание                         ^ Примечание                                                                                                                                                                      ^ Использование в QoEStor  ^ 
    -| 1                          | 8            | int64        | 0      | OCTET_DELTA_COUNT                | Аналог в NetFlow v9  IN_BYTES                                                                                                                                        | Используется             | +| 1                          | 8            | int64        | 0      | OCTET_DELTA_COUNT                | Аналог в NetFlow v9  IN_BYTES                                                                                                                                                   | Используется             | 
    -| 2                          | 8            | int64        | 0      | PACKET_DELTA_COUNT               | Аналог в NetFlow v9  IN_PKTS                                                                                                                                         | Используется             | +| 2                          | 8            | int64        | 0      | PACKET_DELTA_COUNT               | Аналог в NetFlow v9  IN_PKTS                                                                                                                                                    | Используется             | 
    -| 4                          | 1            | int8         | 0      | PROTOCOL_IDENTIFIER              | Аналог в NetFlow v9  PROTOCOL                                                                                                                                        | Используется             | +| 4                          | 1            | int8         | 0      | PROTOCOL_IDENTIFIER              | Аналог в NetFlow v9  PROTOCOL                                                                                                                                                   | Используется             | 
    -| 5                          | 1            | int8         | 0      | IP_CLASS_OF_SERVICE              | Аналог в NetFlow v9  TOS                                                                                                                                             | Используется             | +| 5                          | 1            | int8         | 0      | IP_CLASS_OF_SERVICE              | Аналог в NetFlow v9  TOS                                                                                                                                                        | Используется             | 
    -| 7                          | 2            | int16        | 0      | SOURCE_TRANSPORT_PORT            | Аналог в NetFlow v9  L4_SRC_PORT                                                                                                                                     | Используется             | +| 7                          | 2            | int16        | 0      | SOURCE_TRANSPORT_PORT            | Аналог в NetFlow v9  L4_SRC_PORT                                                                                                                                                | Используется             | 
    -| 8                          | 4            | int32        | 0      | SOURCE_IPV4_ADDRESS              | Аналог в NetFlow v9  IPV4_SRC_ADDR                                                                                                                                   | Используется             | +| 8                          | 4            | int32        | 0      | SOURCE_IPV4_ADDRESS              | Аналог в NetFlow v9  IPV4_SRC_ADDR                                                                                                                                              | Используется             | 
    -| 11                         | 2            | int16        | 0      | DESTINATION_TRANSPORT_PORT       | Аналог в NetFlow v9  L4_DST_PORT                                                                                                                                     | Используется             | +| 11                         | 2            | int16        | 0      | DESTINATION_TRANSPORT_PORT       | Аналог в NetFlow v9  L4_DST_PORT                                                                                                                                                | Используется             | 
    -| 12                         | 4            | int32        | 0      | DESTINATION_IPV4_ADDRESS         | Аналог в NetFlow v9  IPV4_DST_ADDR                                                                                                                                   | Используется             | +| 12                         | 4            | int32        | 0      | DESTINATION_IPV4_ADDRESS         | Аналог в NetFlow v9  IPV4_DST_ADDR                                                                                                                                              | Используется             | 
    -| 16                         | 4            | int32        | 0      | BGP_SOURCE_AS_NUMBER             | Аналог в NetFlow v9  SRC_AS                                                                                                                                          | Используется             | +| 16                         | 4            | int32        | 0      | BGP_SOURCE_AS_NUMBER             | Аналог в NetFlow v9  SRC_AS                                                                                                                                                     | Используется             | 
    -| 17                         | 4            | int32        | 0      | BGP_DESTINATION_AS_NUMBER        | Аналог в NetFlow v9  DST_AS                                                                                                                                          | Используется             | +| 17                         | 4            | int32        | 0      | BGP_DESTINATION_AS_NUMBER        | Аналог в NetFlow v9  DST_AS                                                                                                                                                     | Используется             | 
    -| 152                        | 8            | int64        | 0      | FLOW_START_MILLISECOND           |                                                                                                                                                                      | Используется             | +| 152                        | 8            | int64        | 0      | FLOW_START_MILLISECOND           |                                                                                                                                                                                 | Используется             | 
    -| 153                        | 8            | int64        | 0      | FLOW_END_MILLISECOND             |                                                                                                                                                                      | Используется             | +| 153                        | 8            | int64        | 0      | FLOW_END_MILLISECOND             |                                                                                                                                                                                 | Используется             | 
    -| 10                         | 2            | int16        | 0      | INPUT_SNMP                       | Аналог в NetFlow v9  IngressInterface                                                                                                                                | Используется             | +| 10                         | 2            | int16        | 0      | INPUT_SNMP                       | Аналог в NetFlow v9  IngressInterface                                                                                                                                           | Используется             | 
    -| 14                         | 2            | int16        | 0      | OUTPUT_SNMP                      | Аналог в NetFlow v9  EgressInterface                                                                                                                                 | Используется             | +| 14                         | 2            | int16        | 0      | OUTPUT_SNMP                      | Аналог в NetFlow v9  EgressInterface                                                                                                                                            | Используется             | 
    -| 60                         | 1            | int8         | 0      | IP_VERSION                       | Аналог в NetFlow v9  IP_PROTOCOL_VERSION                                                                                                                             | Используется             | +| 60                         | 1            | int8         | 0      | IP_VERSION                       | Аналог в NetFlow v9  IP_PROTOCOL_VERSION                                                                                                                                        | Используется             | 
    -| 2000                       | 8            | int64        | 43823  | SESSION_ID                       |                                                                                                                                                                      | Используется             | +| 2000                       | 8            | int64        | 43823  | SESSION_ID                       |                                                                                                                                                                                 | Используется             | 
    -| 2001                       | -            | string       | 43823  | HTTP_HOST или CN_HTTPS           |                                                                                                                                                                      | Используется             | +| 2001                       | -            | string       | 43823  | HTTP_HOST или CN_HTTPS           |                                                                                                                                                                                 | Используется             | 
    -| 2002                       | 2            | int16        | 43823  | DPI_PROTOCOL                     |                                                                                                                                                                      | Используется             | +| 2002                       | 2            | int16        | 43823  | DPI_PROTOCOL                     |                                                                                                                                                                                 | Используется             | 
    -| 2003                       | -            | string       | 43823  | LOGIN                            | Аналог в Radius User-Name                                                                                                                                            | Используется             | +| 2003                       | -            | string       | 43823  | LOGIN                            | Аналог в Radius User-Name                                                                                                                                                       | Используется             | 
    -| 225                        | 4            | int32        | 0      | POST_NAT_SOURCE_IPV4_ADDRESS     |                                                                                                                                                                      | Используется             | +| 225                        | 4            | int32        | 0      | POST_NAT_SOURCE_IPV4_ADDRESS     |                                                                                                                                                                                 | Используется             | 
    -| 227                        | 2            | int16        | 0      | POST_NAPT_SOURCE_TRANSPORT_PORT  |                                                                                                                                                                      | Используется             | +| 227                        | 2            | int16        | 0      | POST_NAPT_SOURCE_TRANSPORT_PORT  |                                                                                                                                                                                 | Используется             | 
    -| 2010                       | 2            | int16        | 43823  | FRGMT_DELTA_PACKS                | Дельта фрагментированных пакетов.                                                                                                                                    | Используется             | +| 2010                       | 2            | int16        | 43823  | FRGMT_DELTA_PACKS                | Дельта фрагментированных пакетов.                                                                                                                                               | Используется             | 
    -| 2011                       | 2            | int16        | 43823  | REPEAT_DELTA_PACK                | Дельта ретрансмиссий.                                                                                                                                                | Используется             | +| 2011                       | 2            | int16        | 43823  | REPEAT_DELTA_PACK                | Дельта ретрансмиссий.                                                                                                                                                           | Используется             | 
    -| 2012                       | 4            | int32        | 43823  | PACKET_DELIVER_TIME              | Задержка (RTT/2) в мс (RTT=round-trip time).                                                                                                                         | Используется             | +| 2012                       | 4            | int32        | 43823  | PACKET_DELIVER_TIME              | Задержка (RTT/2) в мс (RTT=round-trip time).                                                                                                                                    | Используется             | 
    -| 2016                       | 2            | int16        | 43823  | BRIDGE_CHANNEL_NUM               | Номер канала (vchannel) или моста.\\ Если в конфигурации DPI настроены vchannel,\\ то будет передаваться номер канала, иначе номер моста.                            | Используется             | +| 2016                       | 2            | int16        | 43823  | BRIDGE_CHANNEL_NUM               | Номер канала (vchannel) или моста.\\ Если в конфигурации DPI настроены vchannel,\\ то будет передаваться номер канала, иначе номер моста.                                       | Используется             | 
    -| 6                          | 2            | int16        | 0      | TCP_FLAGS                        | Биты управления TCP                                                                                                                                                  | Используется             | +| 6                          | 2            | int16        | 0      | TCP_FLAGS                        | Биты управления TCP                                                                                                                                                             | Используется             | 
    -| 58                         | 2            | int16        | 0      | SRC_VLAN                         | VLAN ID                                                                                                                                                              | Используется             | +| 58                         | 2            | int16        | 0      | SRC_VLAN                         | VLAN ID                                                                                                                                                                         | Используется             | 
    -| 59                         | 2            | int16        | 0      | DST_VLAN                         | Post VLAN ID                                                                                                                                                         | Используется             | +| 59                         | 2            | int16        | 0      | DST_VLAN                         | Post VLAN ID                                                                                                                                                                    | Используется             | 
    -| 56                         | 6            | mac_address  | 0      | SRC_MAC                          | MAC-адрес источника                                                                                                                                                  | Используется             | +| 56                         | 6            | mac_address  | 0      | SRC_MAC                          | MAC-адрес источника                                                                                                                                                             | Используется             | 
    -| 57                         | 6            | mac_address  | 0      | DST_MAC                          | MAC-адрес получателя                                                                                                                                                 | Используется             | +| 57                         | 6            | mac_address  | 0      | DST_MAC                          | MAC-адрес получателя                                                                                                                                                            | Используется             | 
    -| 2017                       | -            | raw          | 43823  | MPLS Lables                      |                                                                                                                                                                      | Используется             | +| 2017                       | -            | raw          | 43823  | MPLS Lables                      |                                                                                                                                                                                 | Используется             | 
    -| 132                        | 8            | int64        | 0      | DROPPED_BYTES                    | Дельта-счет сброшенных октетов.\\ //Например: данные сбрасываются на T1 и на T2 минуте. Дельта будет показывать разницу количества октетов между T1 и T2 минутой.//  | Используется             | +| 132                        | 8            | int64        | 0      | DROPPED_BYTES                    | Дельта-счет сброшенных октетов.\\ //Например: данные сбрасываются на T1 и на T2 минуте. Дельта будет показывать разницу количества октетов между T1 и T2 минутой.//             | Используется             | 
    -| 133                        | 8            | int64        | 0      | DROPPED_PACKETS                  | Дельта-счет сброшенных пакетов.\\ //Например: данные сбрасываются на T1 и на T2 минуте. Дельта будет показывать разницу количества пакетов между T1 и T2 минутой.//  | Используется             | +| 133                        | 8            | int64        | 0      | DROPPED_PACKETS                  | Дельта-счет сброшенных пакетов.\\ //Например: данные сбрасываются на T1 и на T2 минуте. Дельта будет показывать разницу количества пакетов между T1 и T2 минутой.//             | Используется             | 
    -| 2019                       | 1            | int8         | 43823  | originalTOS                      | Оригинальное значение TOS из IP заголовка                                                                                                                            | Используется             | +| 2019                       | 1            | int8         | 43823  | originalTOS                      | Оригинальное значение TOS из IP заголовка                                                                                                                                       | Используется             | 
    -| 192                        | 1            | int8         | 0      | IP_TTL                           | TTL пакетов                                                                                                                                                          |                          | +| 192                        | 1            | int8         | 0      | IP_TTL                           | TTL пакетов                                                                                                                                                                     | Используется             | 
    -| 2020                       | 2            | int16        | 43823  | RATING_GROUP                     | Номер rating group                                                                                                                                                   |                          | +| 2020                       | 2            | int16        | 43823  | RATING_GROUP                     | Номер rating group                                                                                                                                                              | Используется             | 
    -| 2021                       |              |              |        | SERVICE_FLAGS                    |                                                                                                                                                                      |                          | +| 2021                       |              |              |        | SERVICE_FLAGS                    | Информация о метках, которые получил flow в DPI. Детектированный tethering сообщается по IPFIX в бите 1 поля ''service_flags''. Доступны 63 бита для дальнейшего использования  | Используется             | 
    -| 2022                       |              |              |        | DETECTION_FLAGS                  |                                                                                                                                                                      |                          | +| 2022                       |              |              |        | DETECTION_FLAGS                  | Зарезервировано под метод детекции                                                                                                                                              | Используется             | 
    -| 2023                       |              |              |        | ACTION_FLAGS                     |                                                                                                                                                                      |                          |+| 2023                       |              |              |        | ACTION_FLAGS                     | Зарезервировано под передачу информации о действиях с flow                                                                                                                      | Используется             |
      
     ===== Шаблон экспорта в формате IPFIX (Netflow v10) для протокола IPv6 ===== ===== Шаблон экспорта в формате IPFIX (Netflow v10) для протокола IPv6 =====