Различия
Показаны различия между двумя версиями страницы.
| Предыдущая версия справа и слеваПредыдущая версияСледующая версия | Предыдущая версия | ||
| dpi:dpi_components:utilities:rcollector2 [2019/05/17 08:26] – [Конфигурация] maxtushinocom | dpi:dpi_components:utilities:rcollector2 [2023/10/23 12:26] (текущий) – удалено elena.krasnobryzh | ||
|---|---|---|---|
| Строка 1: | Строка 1: | ||
| - | ====== Сборка IPFIX потоков rcollector2 ====== | ||
| - | {{indexmenu_n> | ||
| - | |||
| - | ===== Введение ===== | ||
| - | |||
| - | Утилита предназначена для дополнения данными вспомогательных потоков таких как clickstream, | ||
| - | |||
| - | ===== Установка и обновление ===== | ||
| - | - подключите репозитарий VAS Experts аналогично п.1 инструкции [[dpi: | ||
| - | - установите rcollector2: | ||
| - | - настройте файлы конфигурации в директории / | ||
| - | |||
| - | :!: Внимание! При переходе с предыдущей версии [[dpi: | ||
| - | ===== Файлы поставки ===== | ||
| - | - примеры конфигурации: | ||
| - | / | ||
| - | / | ||
| - | / | ||
| - | / | ||
| - | / | ||
| - | / | ||
| - | </ | ||
| - | - исполняемый файл:\\ < | ||
| - | |||
| - | ===== Параметры запуска программы ===== | ||
| - | Программа rcollector2 имеет следующие параметры запуска:< | ||
| - | usage: rcollector2 ОПЦИИ | ||
| - | </ | ||
| - | ОПЦИИ: | ||
| - | |||
| - | * -h, --help | ||
| - | * -fCONFIG, --config-file=CONFIG | ||
| - | * -mMODE, --mode=MODE | ||
| - | * -uidUNIQUEID, | ||
| - | * -ifINFILE, --infile=INFILE | ||
| - | * -ofOUTFILE, --outfile=OUTFILE | ||
| - | * -asnASN, --localasn=ASN | ||
| - | * -oufOUTFILTER, | ||
| - | * -tdUSEFILTER, | ||
| - | * -sdbDIR, --sessiondb=DIR | ||
| - | * -outmailFILE, | ||
| - | * -outftpFILE, | ||
| - | * -outimFILE, --outfileim=FILE | ||
| - | * -dhINTEGER, --depth=INTEGER | ||
| - | * -sdrt, --session-db-read-thread | ||
| - | :!: Внимание! В некоторых случаях, | ||
| - | * -v, --version | ||
| - | |||
| - | ===== Конфигурация ===== | ||
| - | |||
| - | Параметры работы программы задаются в .properties файле. По умолчанию загружается конфигурационный файл из каталога / | ||
| - | |||
| - | :!:При вставке данных в БД, в конфигурационном файле **обязательно** должны быть заданы следующие параметры: | ||
| - | * db.host | ||
| - | * db.port | ||
| - | * db.user | ||
| - | * db.pass | ||
| - | * db.name | ||
| - | * db.telco_code | ||
| - | * db.bad_rows_dir | ||
| - | * db.validation_error_path | ||
| - | |||
| - | При вставке данных в БД выходные файлы не создаются. В случае отсутствия подключения к БД будут создаваться выходные файлы согласно параметрам командной строки. В процессе работы может создаваться файл в каталоге из параметра db.validation_error_path, | ||
| - | |||
| - | === Параметр cachedb === | ||
| - | Данный параметр позволяет настроить работу с файлами данных о сессиях. | ||
| - | |||
| - | * max_reader_threads - максимальное количество потоков, | ||
| - | :!: В некоторых случаях слишком большое количество потоков может привести к замедлению загрузки файлов, | ||
| - | |||
| - | === Параметр stats === | ||
| - | |||
| - | Данный параметр устанавливает возможность отправки статистики работы программы в telegraf. | ||
| - | * socket_path - путь к datagram socket telegraf' | ||
| - | * tag - тег, выставляемый в поле rcollector_tag при отправке статистики в telegraf. | ||
| - | |||
| - | === Параметр db === | ||
| - | |||
| - | Данные параметр позволяет организовать вывод полученных данных в БД ИС СОРМ-3. | ||
| - | * host - адрес сервера postgresql | ||
| - | * port - порт | ||
| - | * user - имя пользователя | ||
| - | * pass - пароль пользователя | ||
| - | * name - имя БД | ||
| - | * bad_rows_dir - каталог для размещения файлов с данными в формате PGCOPY, которые были отвергнуты сервером posgresql | ||
| - | * validation_error_path - каталог для файлов с описанием причины для оброшенных входных данных | ||
| - | * copy_threads - количество потоков, | ||
| - | * commit_rows - количество строк в одном блоке, отправляемом на запись в бд при использовании COPY, по умолчанию 5000 | ||
| - | * telco_code - идентификатор telco для записи в соответствующее поле бд | ||
| - | * db.llds_id - идентификатор типа источника, | ||
| - | * для режима flow - 309 | ||
| - | * для режима urlget - 310 | ||
| - | * для режима sipget - 311 | ||
| - | * db.ftp.ldds_ldst_id - идентификатор типа источника для режимов flow и sipget при вставке ftp данных, | ||
| - | * db.email.ldds_ldst_id - идентификатор типа источника для режима sipget при вставке email данных, | ||
| - | * db.im.ldds_ldst_id - идентификатор типа источника для режима sipget при вставке im данных, | ||
| - | * db.terminal.ldds_ldst_id - идентификатор типа источника для режима flow при вставке terminal данных, | ||
| - | * db.h323.ldds_ldst_id - идентификатор типа источника для режима flow при вставке h323 данных, | ||
| - | * db.ftp_proto - идентификаторы для определения данных как ftp и их занесение в БД, по умолчанию " | ||
| - | * db.ssh_proto - идентификаторы для определения данных как terminal и их занесение в БД, по умолчанию " | ||
| - | * db.h323_proto - идентификаторы для определения данных как h323 и их занесение в БД, по умолчанию " | ||
| - | * db.require_subscriber_id - проверять наличие subscriber_id во входных данных, | ||
| - | |||
| - | === Параметр logging === | ||
| - | Данный параметр отвечает за настройку логирования программы. | ||
| - | |||
| - | * logging.loggers.root.level - уровень логирования | ||
| - | * logging.loggers.root.channel - канал для вывода сообщений | ||
| - | * logging.channels.fileChannel.class - класс канала вывода | ||
| - | * logging.channels.fileChannel.path - путь к лог-файлу | ||
| - | * logging.channels.fileChannel.rotation - параметр ротации | ||
| - | * logging.channels.fileChannel.archive | ||
| - | * logging.channels.fileChannel.purgeCount - количество архивных файлов | ||
| - | * logging.channels.fileChannel.formatter.class - класс форматировщика | ||
| - | * logging.channels.fileChannel.formatter.pattern - шаблон для форматировщика | ||
| - | * logging.channels.fileChannel.formatter.times - время | ||
| - | :!: Более подробно ознакомиться с параметрами логирования можно по ссылке [[https:// | ||
| - | |||
| - | ===== Статистика работы программы ===== | ||
| - | Типы полей статистических данных о работе программы. | ||
| - | |||
| - | === Режим sip === | ||
| - | * read_lines - количество прочитанных строк входного файла | ||
| - | * sip_bye - количество записей SIP BYE | ||
| - | * sip_invite - количество записей SIP INVITE | ||
| - | * sip_miss - количество записей, | ||
| - | * count_ftp - количество записей ftp | ||
| - | * bad_ftp - количество ftp записей не сохраненных в файл | ||
| - | * out_ftp - количество ftp записей успешно сохраненных в файл | ||
| - | * dup_ftp - количество дублированных ftp записей | ||
| - | * count_mail - количество записей mail | ||
| - | * bad_mail | ||
| - | * out_mail - количество mail записей успешно сохраненных в файл | ||
| - | * dup_mail | ||
| - | * count_im - количество записей im | ||
| - | * bad_im - количество im записей не сохраненных в файл | ||
| - | * out_im - количество im записей успешно сохраненных в файл | ||
| - | * bad_sip - количество sip записей не сохраненных в файл | ||
| - | * out_sip - количество sip записей успешно сохраненных в файл | ||
| - | * dup_sip - количество дублированных sip записей | ||
| - | * work_time - время работы программы в миллисекундах | ||
| - | |||
| - | === Режим url === | ||
| - | * read_lines - количество прочитанных строк входного файла | ||
| - | * sess_miss - количество записей для которых нет информации в данных о сессиях | ||
| - | * resp_miss - количество записей для которых нет информации в данных об ответах | ||
| - | * resp_skip - количество отброшенных записей (эти записи ответы от серверов) | ||
| - | * out_lines - количество сохраненных строк в выходном файле | ||
| - | * work_time - время работы программы в миллисекундах | ||
| - | |||
| - | |||
| - | === Режим flow === | ||
| - | * read_lines - количество прочитанных строк входного файла | ||
| - | * marked_as_tor - количество записей, | ||
| - | * out_lines - количество сохраненных строк в выходном файле | ||
| - | * work_time - время работы программы в миллисекундах | ||