Различия

Показаны различия между двумя версиями страницы.

--- dpi:dpi_components:utilities:ipfixreceiver [2018/02/14 10:54] – lexx26
+++ dpi:dpi_components:utilities:ipfixreceiver [2018/12/10 18:30] (текущий) – удалено lexx26
@@ Строка 1: / Строка 1: @@
-====== Утилита приема IPFIX потоков данных ======
-===== Введение =====
-Утилита предназначена для приема потока данных от устройств по протоколу IPFIX и сохранением данных в виде файла для последующей обработки их другими средствами.
-===== Инсталляция и обновление =====
-==== CentOS6 ====
-  - подключите репозитарий VAS Experts аналогично п.1 инструкции [[dpi_10_update|установки DPI]].
-  - установите ipfixreceiver:\\ <code>yum install -y ipfixreceiver</code>
-  - проверьте изменения в конфигурационных файлах на соответствие версии см. раздел "Важные изменения"
-==== CentOS7 ====
-  - подключите репозиторий VAS Experts аналогично п.1 инструкции [[dpi:dpi_components:platform:dpi_update:dpi_update_10:dpi_10_update:start|установки DPI]].
-  - установите репозиторий epel <code>yum -y install epel-release</code>
-  - установите репозиторий forensics <code>rpm --import https://forensics.cert.org/forensics.asc
-rpm -Uvh https://forensics.cert.org/cert-forensics-tools-release-el7.rpm</code>
-  - установите ipfixreceiver:\\ <code>yum install -y ipfixreceiver</code>
-  - проверьте изменения в конфигурационных файлах на соответствие версии см. раздел "Важные изменения"
-===== Важные изменения в версии 1.0.3 по отношению к 1.0.2 =====
-  - изменен конфигурационный файл в части преобразования IP адресов, с версии 1.0.3 необходимо указывать decodeipv4, decodeipv6 в экспортной модели, пример:<code>  source_ip4, decodeipv4</code><code>  destination_ip4, decodeipv4</code>
-  - сохранение информации в файл вынесено в отдельный процесс, учитывайте что при большом количестве сессий (>25k сес/сек) процесс будет полностью загружать 2 ядра процессора. Для проверки, что процесс успевает обработать весь поток данных в режиме DEBUG добавлены сообщения\\ (a)cnt=NNNNN - отправлен буфер с данным номером\\ (b)cnt=YYYYY - сохранен буфер с данным номером.
-  - введен параметр buffer_size - размер буфера обмена между процессом приема и записи в файл, используется в разделе [dump], по умолчанию значение параметра 100000 записей (ориентировано на 20Гбит трафика или 25 000 сессий в сек). Если к-во сессий в секунду значительно меньше, то обязательно пропорционально измените данный параметр.
-===== Файлы поставки =====
-  - примеры конфигурации:\\ <code>/etc/dpiui/ipfixreceiver.conf - пример конфигурации для clickstream (http запросы)
-/etc/dpiui/ipfixreceiverflow.conf - пример конфигурации для получения информации о сессиях (аналог netflow)
-/etc/dpiui/ipfixreceiversip.conf - пример конфигурации для получения информации о sip соединениях</code>
-  - файлы программы располагаются в директории:\\ <code>/usr/local/lib/ipfixreceiver.d/</code>
-  - вспомогательные файлы:\\ <code>/etc/dpiui/port_proto.txt - информация о трансляции идентификатора протокола в наименование,
-используется в утилите для получения текстового имени протокола</code>
-  - ссылки на исполняемый модуль:\\ <code>/usr/local/bin/ipfixreceiver -> линк на /usr/local/lib/ipfixreceiver.d/ipfixreceiver</code>
-===== Дополнительные настройки ОС =====
-  - настройте iptables для приема внешних данных\\ Для работы ipfixreceiver'а требуется открыть порты которые так же будут использоваться в конфигурации в разделе [connect]\\ Например вами используются протокол TCP, 1500 порт и IP=212.12.11.10\\ <code>[connect]
-protocol=tcp
-host=212.12.11.10
-port=1500</code>\\ Для приема IPFIX потока у вас в /etc/sysconfig/iptables должно быть следующее правило:\\ <code>-A INPUT -p tcp -m state --state NEW -m tcp --dport 1500 -j ACCEPT</code> Не забудьте что после внесения правила в iptables требуется перезапуск:\\ <code>service iptables restart</code>
-  - настройте ротацию логов\\ Пример ротации для лог файла /var/log/dpiuiflow.log, создайте в директории /etc/logrotate.d/ файл flowlog следующего содержания <code>
-/var/log/dpiui*.log {
-    rotate 5
-    missingok
-    notifempty
-    compress
-    size 10M
-    daily
-    copytruncate
-    nocreate
-    postrotate
-    endscript
-}</code> \\ Обратите внимание на использование метода copytruncate, иначе файл будет пересоздан и запись лога из процесса прекратится.\\ Соответственно в конфигурации ipfixreceiver у вас в разделе [handler_ipfixreceiverlogger] указано следующее:\\ <code>args=('/var/log/dpiuiflow.log', 'a+')</code>
-  - Настройте удаление старых файлов. Например удаление старых архивов (более 31 дня) с записями о сессиях запакованных gzip:\\ <code>15 4 * * * /bin/find /var/dump/dpiui/ -name url_\*.dump.gz -cmin +44640 -delete > /dev/null 2>&1</code>\\ Измените строчку под ваши требования и добавьте в файл /var/spool/cron/root.
-===== Параметры запуска программы =====
-Утилита ipfixreceiver имеет следующие параметры запуска :
-<code>usage: ipfixreceiver start|stop|restart|status|-v [-f <config file>]
-где
-  start   - запуск в режиме сервиса
-  stop    - останов сервиса
-  state   - состояние работы сервиса
-  restart - перезапуск сервиса
-  -v      - вывести информацию о версии
-  -f <config file> - указать файл конфигурации для запуска сервиса
-Пример:
-  ipfixreceiver start -f /etc/dpiui/ipfixreceiverflow.conf
-</code>
-===== Конфигурация =====
-По умолчанию используется файл конфигурации /etc/dpiui/ipfixreceiver.conf .\\
-:!:Больше информации о конфигурировании логирования можно найти по ссылке [[https://docs.python.org/2.6/library/logging.html | Logging ]]
-==== Служебные разделы ====
-  - loggers - определяет используемые лог идентификаторы
-  - handlers - определяет используемые обработчики для сохранения лога
-  - formatters - определяет используемые форматы для лога
-==== logger_root ====
-  - level - определяет уровень логирования (верхний уровень)\\ Возможные значения:<code>
-CRITICAL  - только критические ошибки, минимальный уровень сообщений
-ERROR     - включая ошибки
-WARNING   - включая предупреждения
-INFO      - включая информацию
-DEBUG     - включая отладочные
-NOTSET    - Все, максимальный уровень сообщений (включая все выше перечисленные)
-</code>\\ Пример:\\ <code>level=DEBUG</code>
-  - handlers - используемые обработчики сообщений\\ Пример: <code>handlers=ipfixreceiverlogger</code>
-==== handler_ipfixreceiverlogger ====
-  - class - класс обработчика\\ Пример: <code>class=FileHandler</code>
-  - level - уровень сообщений <code>level=DEBUG</code>
-  - formatter - наименование формата сообщений<code>formatter=ipfixreceiverlogger</code>
-  - args - параметры обработчика <code>args=('/var/log/dpiuiflow.log', 'a+')</code>
-==== formatter_ipfixreceiverlogger ====
-  - format - описание формата сообщения\\ Пример: <code>format=%(asctime)s - %(name)s - %(levelname)s - %(message)s
-где
-%(name)s      - имя лога
-%(levelname)s - уровень сообщения ('DEBUG', 'INFO', 'WARNING', 'ERROR', 'CRITICAL').
-%(asctime)s   - дата, по умолчанию формат “2003-07-08 16:49:45,896” (поле запятаой указаны миллисекунды).
-%(message)s   - сообщение
-</code>
-  - datefmt - описание формата даты\\ Пример: <code>datefmt='%m-%d %H:%M'</code>
-==== connect ====
-  - protocol - протокол (tcp или udp). <code>protocol=udp</code>
-  - host - IP или имя сервера. <code>host=localhost</code>
-  - port - номер порта. <code>port=9996</code>
-==== dump ====
-  - rotate_minutes - период в минутах, по прошествии которого временный файл в dumpfiledir/<port>.url.dump будет перемещен в архив (mv) и создан новый временный файл.<code>rotate_minutes=10</code>
-  - processcmd - команда которая будет запущена по окончании ротации файла, параметр имя файла с путем к нему.<code>processcmd=gzip %%s</code>
-  - dumpfiledir - директория куда будут сохраняться файлы с принятыми данными. <code>dumpfiledir=/var/dump/dpiui/ipfixflow/</code>
-  - buffer_size - размер буфера обмена между процессом приема и записи в файл, по умолчанию значение параметра 100000 записей (ориентировано на 20Гбит трафика или 25 000 сессий в сек). Если к-во сессий в секунду значительно меньше, то обязательно пропорционально измените данный параметр.
-==== InfoModel ====
-Блок описывает получаемые данные по IPFIX протоколу.
-  - InfoElements - параметр с описанием элементов информационной модели для IPFIX <code>InfoElements =  octetDeltaCount,       0,    1, UINT64, True
-                packetDeltaCount,      0,    2, UINT64, True
-                protocolIdentifier,    0,    3, UINT8
-                session_id,        43823, 2000, UINT64, True
-где,
-  session_id - наименование поля из описания IPFIX см. разделы
-  - уникальный номер организации (enterprise number)
-      - уникальный номер поля
-  UINT64 - тип поля
-  True   - использовать обратный порядок байт (endian). Значения - True или пусто.
-</code>
-Типы полей:\\
-^ Type      ^ Length       ^ Type IPFIX          ^
-| OCTET_ARRAY    | VARLEN     | octetArray        |
-| UINT8          | 1          | unsigned8         |
-| UINT16         | 2          | unsigned16        |
-| UINT32         | 4          | unsigned32        |
-| UINT64         | 8          | unsigned64        |
-| INT8           | 1          | signed8           |
-| INT16          | 2          | signed16          |
-| INT32          | 4          | signed32          |
-| INT64          | 8          | signed64          |
-| FLOAT32        | 4          | float32           |
-| FLOAT64        | 8          | float64           |
-| BOOL           | 1          | boolean           |
-| MAC_ADDR       | 6          | macAddress        |
-| STRING         | VARLEN     | string            |
-| SECONDS        | 4          | dateTimeSeconds   |
-| MILLISECONDS   | 8          | dateTimeMilliseconds |
-| MICROSECONDS   | 8          | dateTimeMicroseconds |
-| NANOSECONDS    | 8          | dateTimeNanoseconds  |
-| IP4ADDR        | 4          | ipv4Address       |
-| IP6ADDR        | 16         | ipv6Address       |
-Наименование полей и описание можно взять по ссылкам:\\
-  - [[statistics_ipfix|Шаблон экспорта Netflow в формате IPFIX]]
-  - [[li_ipfix|Шаблоны экспорта clickstream и SIP]]
-  - [[radmon_acct_ipfix|Шаблон экспорта AAA в формате IPFIX]]
-Дополнительная информация:\\
-[[https://tools.ietf.org/html/rfc5102.html | Information Model for IP Flow Information Export]]
-==== ExportModel ====
-определяет параметры модели для экспорта, зарезервировано для будущего использования.
-  - Mode - тип используемого экспорта <code>Mode = File</code>
-==== ExportModelFile ====
-Описание модели экспорта File.
-  - Delimiter разделитель полей в строке ( \t - табуляция, еще примеры - |,;) <code>Delimiter = \t</code>
-  - ExportElements - описание полей которые будут сохранены в файл. <code>ExportElements = timestamp, seconds, %%Y-%%m-%%d %%H:%%M:%%S.000+03
-                 login
-                 source_ip4
-                 destination_ip4
-                 host, decodehost
-                 path, decodepath
-                 referal, decodereferer
-                 session_id
-где поля в каждой строке:
-  имя - наименование поля из информационной модели [InfoModel] (login, session_id и т.п.)
-  обработчик - процедура обработки поля перед выводом
-               seconds       - поле в секундах, ожидается формат
-               milliseconds  - поле в милисекундах, микросекундах, наносекундах ожидается формат
-               decodehost    - перекодировать из punycode в UTF-8
-               decodepath    - перекодировать из urlencoding в UTF-8
-               decodereferer - перекодировать из (punycode,urlencoding) в UTF-8
-               decodeproto   - перекодировать идентификатор протокола в строку
-  формат - описание формата для seconds, milliseconds.
-           Пример: %%Y-%%m-%%d %%H:%%M:%%S.%%f+0300
-           Результат: 2016-05-25 13:13:35.621000+0300
-</code>
-==== Создаем сервис в Centos7 ====
-Создание сервиса в centos7 по шагам, название сервиса **ipfix1**, используемая конфигурация **/etc/dpiui/ipfixreceiver.conf**, используемый порт **1500**. \\
-Создаем файл /etc/systemd/system/ipfix1.service следующего содержания:
-<code>
-[Unit]
-Description=ipfix test restart
-After=network.target
-After=syslog.target
-[Service]
-Type=forking
-PIDFile=/tmp/ipfixreceiver.1500.pid
-ExecStart=/usr/local/bin/ipfixreceiver start -f /etc/dpiui/ipfixreceiver.conf
-ExecStop=/usr/local/bin/ipfixreceiver stop -f /etc/dpiui/ipfixreceiver.conf
-ExecReload=/usr/local/bin/ipfixreceiver restart -f /etc/dpiui/ipfixreceiver.conf
-Restart=always
-RestartSec=10s
-[Install]
-WantedBy=multi-user.target
-</code>
-Выполняем:
-  systemctl enable ipfix1.service
-  systemctl start ipfix1.service
-  systemctl daemon-reload
-Проверяем:
-  systemctl status ipfix1.service -l
-:!:**не забудьте проверить поднятие сервиса после перезагрузки**
-===== Проблемы и решения =====
-  - как получить версию утилиты?\\ Используйте следующие команды:\\ <code>ipfixreceiver -v</code><code>yum info ipfixreceiver</code>
-  - можно ли на один порт отправлять IPFIX потоки с разных DPI?\\ Да. Единственное в записываемом потоке их будет не различить.
-  - как понять, что утилита работает?\\ a) проверьте, что порт из конфигурации прослушивается утилитой, например 1500:<code>netstat -nlp | grep 1500</code> b) проверьте лог, нет ли ошибок\\ c) Проверьте, что запись в промежуточный файл происходит, например для 9996 порта (директория для файлов - /var/dump/dpiui/ipfixurl): <code>tail -f /var/dump/dpiui/ipfixurl/9996.url.dump</code>
-  - все проверено, но приема сообщений нет?\\ a) забыли открыть порт в iptables.\\ b) инициализировали ipfixreceiver с неверным IP сервера.
-  - с DPI идет большое количество сессий (более 2 млн сессий/мин), при включенном DEBUG режиме видно, что счетчик обмена буферами не успевает записать до получения следующего блока записей, что можно сделать?\\ a) удалите преобразование даты в строку, это уменьшит процессорное время на обработку и дополнительно получите уменьшение объема результирующего файла\\ b) удалите преобразование decodeipv4, не значительно, но так же получите ускорение записи файла\\ c)настройте buffer_size при к-ве сес /сек более 30к совместно с п.d\\ d) увеличьте частоту процессора и объем памяти

Аккаунт

Настройки

Различия

Различия

Что вы хотели найти?