Справочники

Конфигурация справочников

Все справочники находятся в папке /var/qoestor/backend/etc/db/ и имеют расширение .txt

Для каждого справочника есть образец sample.txt. Можно использовать в качестве шаблона.

Все столбцы в справочниках разделены символом табуляции (\t). Количество \t должно быть на единицу меньше, чем число столбцов в справочнике. Следите за этим внимательно.

При изменении файлов, данные подгружаются в БД автоматически.

Некоторые полезные команды при работе со справочниками:

Ускорить обновление данных в справочниках

clickhouse-client --database=qoestor --query="system reload dictionaries"

Проверить, есть ли ошибки в справочниках

clickhouse-client --database=qoestor --query="select * from system.dictionaries"

Проверить, есть ли данные в справочнике, например для subnets_local_dic

clickhouse-client --database=qoestor --query="select * from subnets_local_dic"

Также в dpiui2 в разделе QoE Аналитика / Администратор / Информация о справочниках вы можете посмотреть список справочников, ошибки и содержимое. См. раздел Информация о справочниках.

Список справочников

Справочник	Описание	Столбцы	Пример	Примечание
asnum_dic	Справочник сетевых протоколов. Облачный справочник, загружается по расписанию. Не редактируемый.	1. Номер АС 2. Название АС	0 -Reserved AS-, ZZ 1 LVLT-1, US 2 UDEL-DCN, US 3 MIT-GATEWAYS, US 4 ISI-AS, US 5 SYMBOLICS, US 6 BULL-HN, US 7 DSTL, GB 8 RICE-AS, US ...	Для принудительной загрузки справочника, выполните: sh /var/qoestor/backend/app_bash/cron_daily.sh
asnum_local_dic subnets_local_dic	В данных справочниках указывается список ваших локальных AS и локальных подсетей. Справочники используются для определения направления трафика (актуально, когда DPI установлен на зеркале) и фильтрации абонентов (чтобы в отчетах по абонентам не фигурировали IP-адреса хостов)	asnum_local_dic: 1. Номер AS 2. Название (отображается в отчетах) subnets_local_dic: 1. IP адрес или CIDR 2. Название (не отображается в отчетах, но формат справочника требует)	asnum_local_dic: 12345 LOCAL 65535 UNKNOWN subnets_local_dic: 192.168.1.0/24 LOCAL 10.64.66.0/24 LOCAL 172.16.0.0 LOCAL 2a02:2168:aaa:bbbb::2 LOCAL	Для управления фильтрацией по этим справочникам используйте параметры SUBSCRIBER_FILTER_MODE и TRAFFIC_DIR_DEF_MODE. См. раздел Конфигурация. Не добавляйте слишком большую подсеть. Разбивайте на мелкие. Ограничение - 100000000
asnum_exclude_dic subnets_exclude_dic	В данных справочниках указывается список ваших АС и подсетей (либо одиночных IP), которые необходимо исключить из агрегированных логов. Подсети, указанные в справочниках будут игнорироваться при записи в агрегированный лог (который используется для построения отчетов).	asnum_exclude_dic: 1. Номер AS 2. Название subnets_exclude_dic: 1. IP адрес или CIDR 2. Название	asnum_exclude_dic: 12345 LOCAL 65535 LOCAL subnets_exclude_dic: 192.168.1.0/24 LOCAL 10.64.66.0/24 LOCAL 172.16.0.0 LOCAL 2a02:2168:aaa:bbbb::2 LOCAL	Для управления фильтрацией по этим справочникам используйте параметр SUBSCRIBER_EXCLUDE_MODE. См. раздел Конфигурация. Не добавляйте слишком большую подсеть. Разбивайте на мелкие. Ограничение - 100000000
gtp_cells_locations_dic	В справочнике указывается список сотовых базовых станций оператора с координатами. Справочник используется для построения отчетов на картах.	1. MCC - Mobile Country Code 2. MNC - Mobile Network Code 3. TAC/LAC - Location Area Code 4. CID/SAC/ECI - Cell ID 5. LAT - широта 6. LON - долгота 7. CELL_ID 8. CELL_NAME 9. CELL_DESCRIPTION	250 1 17774 4881420 55.783184763200005 37.525521418974996 cell_id_0 cell_name_0 cell_description_0 250 1 17716 3398401 55.86518562276 37.66309891922 cell_id_2 cell_name_2 cell_description_2 250 1 17716 3398411 55.86312193015 37.657007482905 cell_id_4 cell_name_4 cell_description_4 250 1 17782 2359297 55.86370294584 37.661393065359995 cell_id_5 cell_name_5 cell_description_5 250 1 1603 26057 55.80400515858 37.63568625476 cell_id_1 cell_name_1 cell_description_1 250 1 17781 2914571 55.799170861170005 37.6376949577 cell_id_6 cell_name_6 cell_description_6 250 1 1605 23895 55.869888445769995 37.64814730281 cell_id_3 cell_name_3 cell_description_3	—
net_protocols_dic	Справочник сетевых протоколов протоколов. Не редактируемый, обновляется при обновлении QoE Stor.	1. Номер порта 2. Название протокола	0 HOPOPT 1 ICMP 2 IGMP 3 GGP 4 IPv4 5 ST 6 TCP 7 CBT 8 EGP 9 IGP 10 BBN-RCC-MON 11 NVP-II ...	—
protocols_dic protocols_groups_dic	Справочники прикладных протоколов и групп прикладных протоколов. Облачные справочники, загружаются по расписанию. Не редактируемые.	protocols_dic: 1. Номер порта 2. Название протокола 3. ID группы protocols_groups_dic: 1. ID группы 2. Название группы	protocols_dic: 1 tcpmux 1 2 compressnet 1 5 rje 1 7 echo 1 11 systat 7 13 daytime 7 17 qotd 7 18 msp 8 19 chargen 7 20 ftp-data 9 21 ftp 9 22 ssh 8 23 telnet 8 25 smtp 5 27 nsw-fe 7 ... protocols_groups_dic: 1 Network services 2 Web browsing 3 P2P 4 Gaming 5 E-Mail 6 Instant messengers	Для принудительной загрузки справочников, выполните: sh /var/qoestor/backend/app_bash/cron_daily.sh
settings_dic	Служебный справочник настроек. Формируется скриптами на основе файлов конфигурации. Не редактируемый.	1. Параметр 2. Значение	TRAFFIC_DIR_DEF_MODE 0 SUBSCRIBER_FILTER_MODE 0 SUBSCRIBER_EXCLUDE_MODE 0 URLS_CATEGORIES_DIC_AUTOLOAD_ENABLED 1 ASNUM_DIC_AUTOLOAD_ENABLED 1 ULR_REPLACE_LOGIN_WITH_VCHANNEL 0 ULR_USE_DIC_WHEN_REPLACING_LOGIN 0 ULR_VCHANNEL_NAME_DIC_AUTOLOAD_ENABLED 0 ULR_VCHANNEL_NAME_DIC_URL NAT_AGG_LOG_FIELDS_TO_SAVE_BITMASK 0x654 NAT_IMPORT_FROM_FULLFLOW NAT_AGG_LOG_GROUP_TIME_INTERVAL 15 FULLFLOW_AGG_LOG_FIELDS_TO_SAVE_BITMASK 0x39fff FULLFLOW_AGG_LOG_GROUP_TIME_INTERVAL 15 CLICKSTREAM_AGG_LOG_FIELDS_TO_SAVE_BITMASK 0x30ff CLICKSTREAM_AGG_LOG_GROUP_TIME_INTERVAL 15 CLICKSTREAM_ADD_INFO_FROM_FULLFLOW 1 SUBSCRIBER_BIND_MODE 1 FILL_IP_LOGIN_BINDING_FROM_FULLFLOW 1 NAT_ADD_LOGIN_FROM_IP_LOGIN_BINDING 1 APP_ID qoestor APP_VERSION 1.9.0	—
subscribers_dic	Справочник абонентов.	1. IP адрес 2. Логин 3. Идентификатор коммутатора (доступа) 4. Порт коммутатора 5. Вендор абонентского оборудования 6. Кабель 7. Договор 8. Сервисы 9. MAC адрес абонентского оборудования (зарезервирован для будущих целей)	10.64.66.100 login 5 port1 unit_vendor cabel contract services mac 10.64.66.101 login 2 port1 unit_vendor cabel contract services mac 10.64.66.102 login 3 port1 unit_vendor cabel contract services mac 10.64.66.103 login 4 port1 unit_vendor cabel contract services mac 10.64.66.104 login 5 port1 unit_vendor cabel contract services mac 10.64.66.105 login 5 port2 unit_vendor cabel contract services mac 10.64.66.106 login 5 port3 unit_vendor cabel contract services mac	—
switches_dic	Иерархический справочник оборудования (коммутаторов доступа и магистральных коммутаторов)	1. Идентификатор оборудования UInt64 2. Наименование 3. Тип 4. Район 5. Адрес 6. IP адрес коммутатора 7. Оператор 8. Флаг 9. Идентификатор вышестоящего коммутатора 10. Порт 11. Собственник	1 Коммутатор 1 Ethernet Регион1 Адрес 1 10.140.1.18 oper1 0 0 2 Коммутатор 2 Ethernet Регион2 Адрес 2 10.140.2.18 oper1 0 0 3 Коммутатор 3 Ethernet Регион3 Адрес 3 10.140.3.18 oper1 0 1 port1 4 Коммутатор 4 Ethernet Регион4 Адрес 4 10.140.4.18 oper1 0 3 port1 5 Коммутатор 5 Ethernet Регион5 Адрес 5 10.140.5.18 oper1 0 4 port1	—
crc_dic	Справочник ошибок (CRC) на портах коммутаторов	1. Идентификатор коммутатора 3. Порт коммутатора 4. Значение CRC	2 port1 450 5 port1 550 5 port2 500 4 port1 780	—
urlcats_dic urlcats_host_dic	Справочники категорий хостов. Предназначены для определения принадлежности хоста определённой категории. Облачные справочники, загружаются по расписанию. Не редактируемые.	urlcats_dic: 1. Идентификатор категории 2. Код категории urlcats_host_dic: 1. Хост 2. Идентификатор категории	urlcats_dic: 1 unknown 2 software_tools 3 search_engine 4 0_other 5 school 6 proxys 7 tabak_alkohol 8 religia urlcats_host_dic: iris06-gold-ssl.gameloft.com 1 satfrog-tv.ddns.net:5890 1 vs824.vcdn.biz 1 cs05.trafmag.com 1	Для принудительной загрузки справочников, выполните: sh /var/qoestor/backend/app_bash/cron_daily.sh
ulr_vchannel_name_dic	Справочник имен виртуальных каналов. Предназначен для формирования статистики по виртуальным каналам.	1. Номер DPI оборудования 2. Номер виртуального канала (vchannel) 3. Название	0 1 vchan_0_1 0 2 vchan_0_2 0 3 vchan_0_3 0 4 vchan_0_4 1 1 vchan_1_1 1 2 vchan_1_2 1 3 vchan_1_3 1 4 vchan_1_4	—