Утилита предназначена для приема потока данных от устройств по протоколу IPFIX и сохранением данных в виде файла для последующей обработки их другими средствами.

1. подключите репозиторий VAS Experts

   rpm --import http://vasexperts.ru/centos/RPM-GPG-KEY-vasexperts.ru
   rpm -Uvh http://vasexperts.ru/centos/6/x86_64/vasexperts-repo-1-0.noarch.rpm

2. установите ipfixreceiver:
   

   yum install -y ipfixreceiver

3. проверьте изменения в конфигурационных файлах на соответствие версии см. раздел "Важные изменения"

1. подключите репозиторий VAS Experts

   rpm --import http://vasexperts.ru/centos/RPM-GPG-KEY-vasexperts.ru
   rpm -Uvh http://vasexperts.ru/centos/6/x86_64/vasexperts-repo-1-0.noarch.rpm

2. установите репозиторий epel

   yum -y install epel-release

3. установка репозитория forencis:

   rpm --import https://forensics.cert.org/forensics.asc
   rpm -Uvh https://forensics.cert.org/cert-forensics-tools-release-el7.rpm

4. установите ipfixreceiver:
   

   yum -y install libfixbuf --disablerepo=forensics
   yum -y install  netsa-python netsa_silk
   yum -y install ipfixreceiver --disablerepo=forensics

5. проверьте изменения в конфигурационных файлах на соответствие версии см. раздел "Важные изменения"

1. изменен конфигурационный файл в части преобразования IP адресов, с версии 1.0.3 необходимо указывать decodeipv4, decodeipv6 в экспортной модели, пример:

     source_ip4, decodeipv4

     destination_ip4, decodeipv4

2. сохранение информации в файл вынесено в отдельный процесс, учитывайте что при большом количестве сессий (>25k сес/сек) процесс будет полностью загружать 2 ядра процессора. Для проверки, что процесс успевает обработать весь поток данных в режиме DEBUG добавлены сообщения
   (a)cnt=NNNNN - отправлен буфер с данным номером
   (b)cnt=YYYYY - сохранен буфер с данным номером.
3. введен параметр buffer_size - размер буфера обмена между процессом приема и записи в файл, используется в разделе [dump], по умолчанию значение параметра 100000 записей (ориентировано на 20Гбит трафика или 25 000 сессий в сек). Если количество сессий в секунду значительно меньше, то обязательно пропорционально измените данный параметр.

1. примеры конфигурации:
   

   /etc/dpiui/ipfixreceiver.conf - пример конфигурации для clickstream (http запросы)
   /etc/dpiui/ipfixreceiverflow.conf - пример конфигурации для получения информации о сессиях (аналог netflow)
   /etc/dpiui/ipfixreceiversip.conf - пример конфигурации для получения информации о sip соединениях

2. файлы программы располагаются в директории:
   

   /usr/local/lib/ipfixreceiver.d/

3. вспомогательные файлы:
   

   /etc/dpiui/port_proto.txt - информация о трансляции идентификатора протокола в наименование,
   используется в утилите для получения текстового имени протокола

4. ссылки на исполняемый модуль:
   

   /usr/local/bin/ipfixreceiver -> линк на /usr/local/lib/ipfixreceiver.d/ipfixreceiver

1. настройте iptables для приема внешних данных
   Для работы ipfixreceiver'а требуется открыть порты которые так же будут использоваться в конфигурации в разделе [connect]
   Например вами используются протокол TCP, 1500 порт и IP=212.12.11.10
   

   [connect]
   protocol=tcp
   host=212.12.11.10
   port=1500

   
   Для приема IPFIX потока у вас в /etc/sysconfig/iptables должно быть следующее правило:
   

   -A INPUT -p tcp -m state --state NEW -m tcp --dport 1500 -j ACCEPT

   Не забудьте что после внесения правила в iptables требуется перезапуск:
   

   service iptables restart

2. настройте ротацию логов
   Пример ротации для лог файла /var/log/dpiuiflow.log, создайте в директории /etc/logrotate.d/ файл flowlog следующего содержания

   /var/log/dpiui*.log {
       rotate 5
       missingok
       notifempty
       compress
       size 10M
       daily
       copytruncate
       nocreate
       postrotate
       endscript
   }

   
   Обратите внимание на использование метода copytruncate, иначе файл будет пересоздан и запись лога из процесса прекратится.
   Соответственно в конфигурации ipfixreceiver у вас в разделе [handler_ipfixreceiverlogger] указано следующее:
   

   args=('/var/log/dpiuiflow.log', 'a+')

3. Настройте удаление старых файлов. Например, удаление старых архивов (более 31 дня) с записями о сессиях запакованных gzip:
   

   15 4 * * * /bin/find /var/dump/dpiui/ -name url_\*.dump.gz -cmin +44640 -delete > /dev/null 2>&1

   
   Измените строчку под ваши требования и добавьте в файл /var/spool/cron/root.

Утилита ipfixreceiver имеет следующие параметры запуска:

usage: ipfixreceiver start|stop|restart|status|-v [-f <config file>]
где
  start   - запуск в режиме сервиса
  stop    - останов сервиса
  state   - состояние работы сервиса
  restart - перезапуск сервиса
  -v      - вывести информацию о версии
  -f <config file> - указать файл конфигурации для запуска сервиса

Пример:
  ipfixreceiver start -f /etc/dpiui/ipfixreceiverflow.conf

По умолчанию используется файл конфигурации /etc/dpiui/ipfixreceiver.conf.
Больше информации о конфигурировании логирования можно найти по ссылке Logging

1. loggers - определяет используемые лог идентификаторы
2. handlers - определяет используемые обработчики для сохранения лога
3. formatters - определяет используемые форматы для лога

1. level - определяет уровень логирования (верхний уровень)
   Возможные значения:

   CRITICAL  - только критические ошибки, минимальный уровень сообщений
   ERROR     - включая ошибки
   WARNING   - включая предупреждения
   INFO      - включая информацию
   DEBUG     - включая отладочные
   NOTSET    - Все, максимальный уровень сообщений (включая все выше перечисленные)

   
   Пример:
   

   level=DEBUG

2. handlers - используемые обработчики сообщений
   Пример:

   handlers=ipfixreceiverlogger

1. class - класс обработчика
   Пример:

   class=FileHandler

2. level - уровень сообщений

   level=DEBUG

3. formatter - наименование формата сообщений

   formatter=ipfixreceiverlogger

4. args - параметры обработчика

   args=('/var/log/dpiuiflow.log', 'a+')

1. format - описание формата сообщения
   Пример:

   format=%(asctime)s - %(name)s - %(levelname)s - %(message)s
   где
   %(name)s      - имя лога
   %(levelname)s - уровень сообщения ('DEBUG', 'INFO', 'WARNING', 'ERROR', 'CRITICAL').
   %(asctime)s   - дата, по умолчанию формат “2003-07-08 16:49:45,896” (поле запятаой указаны миллисекунды).
   %(message)s   - сообщение

2. datefmt - описание формата даты
   Пример:

   datefmt='%m-%d %H:%M'

1. protocol - протокол (tcp или udp).

   protocol=udp

2. host - IP или имя сервера.

   host=localhost

3. port - номер порта.

   port=9996

1. rotate_minutes - период в минутах, по прошествии которого временный файл в dumpfiledir/<port>.url.dump будет перемещен в архив (mv) и создан новый временный файл.

   rotate_minutes=10

2. processcmd - команда, которая будет запущена по окончании ротации файла, параметр имя файла с путем к нему.

   processcmd=gzip %%s

3. dumpfiledir - директория куда будут сохраняться файлы с принятыми данными.

   dumpfiledir=/var/dump/dpiui/ipfixflow/

4. buffer_size - размер буфера обмена между процессом приема и записи в файл, по умолчанию значение параметра 100000 записей (ориентировано на 20Гбит трафика или 25 000 сессий в сек). Если количество сессий в секунду значительно меньше, то обязательно пропорционально измените данный параметр.

Блок описывает получаемые данные по IPFIX протоколу.

1. InfoElements - параметр с описанием элементов информационной модели для IPFIX

   InfoElements =  octetDeltaCount,       0,    1, UINT64, True
                   packetDeltaCount,      0,    2, UINT64, True
                   protocolIdentifier,    0,    3, UINT8
                   session_id,        43823, 2000, UINT64, True
   где,
     session_id - наименование поля из описания IPFIX см. разделы
     43823  - уникальный номер организации (enterprise number)
     1      - уникальный номер поля
     UINT64 - тип поля
     True   - использовать обратный порядок байт (endian). Значения - True или пусто.

Типы полей:

Наименование полей и описание можно взять по ссылкам:

1. Шаблон экспорта Netflow в формате IPFIX
2. Шаблоны экспорта clickstream и SIP
3. Шаблон экспорта AAA в формате IPFIX

Дополнительная информация:
Information Model for IP Flow Information Export

определяет параметры модели для экспорта, зарезервировано для будущего использования.

1. Mode - тип используемого экспорта

   Mode = File

Описание модели экспорта File.

1. Delimiter разделитель полей в строке ( \t - табуляция, еще примеры - |,;)

   Delimiter = \t

2. ExportElements - описание полей которые будут сохранены в файл.

   ExportElements = timestamp, seconds, %%Y-%%m-%%d %%H:%%M:%%S.000+03
                    login
                    source_ip4
                    destination_ip4
                    host, decodehost
                    path, decodepath
                    referal, decodereferer
                    session_id
   где поля в каждой строке:
     имя - наименование поля из информационной модели [InfoModel] (login, session_id и т.п.)
     обработчик - процедура обработки поля перед выводом
                  seconds       - поле в секундах, ожидается формат
                  milliseconds  - поле в милисекундах, микросекундах, наносекундах ожидается формат
                  decodehost    - перекодировать из punycode в UTF-8
                  decodepath    - перекодировать из urlencoding в UTF-8
                  decodereferer - перекодировать из (punycode,urlencoding) в UTF-8
                  decodeproto   - перекодировать идентификатор протокола в строку
     формат - описание формата для seconds, milliseconds. 
              Пример: %%Y-%%m-%%d %%H:%%M:%%S.%%f+0300
              Результат: 2016-05-25 13:13:35.621000+0300

Создание сервиса в CentOS7 по шагам, название сервиса ipfix1, используемая конфигурация /etc/dpiui/ipfixreceiver.conf, используемый порт 1500.
Создаем файл /etc/systemd/system/ipfix1.service следующего содержания:

[Unit]
Description=ipfix test restart
After=network.target
After=syslog.target

[Service]
Type=forking
PIDFile=/tmp/ipfixreceiver.1500.pid
ExecStart=/usr/local/bin/ipfixreceiver start -f /etc/dpiui/ipfixreceiver.conf
ExecStop=/usr/local/bin/ipfixreceiver stop -f /etc/dpiui/ipfixreceiver.conf
ExecReload=/usr/local/bin/ipfixreceiver restart -f /etc/dpiui/ipfixreceiver.conf
Restart=always
RestartSec=10s

[Install]
WantedBy=multi-user.target

Выполняем:

systemctl enable ipfix1.service
systemctl start ipfix1.service
systemctl daemon-reload

Проверяем:

systemctl status ipfix1.service -l

не забудьте проверить поднятие сервиса после перезагрузки

1. как получить версию утилиты?
   Используйте следующие команды:
   

   ipfixreceiver -v

   yum info ipfixreceiver

2. можно ли на один порт отправлять IPFIX потоки с разных DPI?
   Да. Единственное в записываемом потоке их будет не различить.
3. как понять, что утилита работает?
   a) проверьте, что порт из конфигурации прослушивается утилитой, например 1500:

   netstat -nlp | grep 1500

   b) проверьте лог, нет ли ошибок
   c) Проверьте, что запись в промежуточный файл происходит, например для 9996 порта (директория для файлов - /var/dump/dpiui/ipfixurl):

   tail -f /var/dump/dpiui/ipfixurl/9996.url.dump

4. все проверено, но приема сообщений нет?
   a) забыли открыть порт в iptables.
   b) инициализировали ipfixreceiver с неверным IP сервера.
5. с DPI идет большое количество сессий (более 2 млн сессий/мин), при включенном DEBUG режиме видно, что счетчик обмена буферами не успевает записать до получения следующего блока записей, что можно сделать?
   a) удалите преобразование даты в строку, это уменьшит процессорное время на обработку и дополнительно получите уменьшение объема результирующего файла
   b) удалите преобразование decodeipv4, незначительно, но так же получите ускорение записи файла
   c) настройте buffer_size при к-ве сес /сек более 30к совместно с п.d
   d) увеличьте частоту процессора и объем памяти