Это старая версия документа!

Справочники

Конфигурация справочников

Все справочники находятся в папке /var/qoestor/backend/etc/db/ и имеют расширение .txt

Для каждого справочника есть образец sample.txt. Можно использовать в качестве шаблона.

Все столбцы в справочниках разделены символом табуляции (\t). Количество \t должно быть на единицу меньше, чем число столбцов в справочнике. Следите за этим внимательно.

При изменении файлов, данные подгружаются в БД автоматически.

Некоторые полезные команды при работе со справочниками:

Ускорить обновление данных в справочниках
```
clickhouse-client --database=qoestor --query="system reload dictionaries"
```

Проверить, есть ли ошибки в справочниках

clickhouse-client --database=qoestor --query="select * from system.dictionaries"

Проверить, есть ли данные в справочнике, например для subnets_local_dic
```
clickhouse-client --database=qoestor --query="select * from subnets_local_dic"
```

Также в dpiui2 в разделе QoE Аналитика / Администратор / Информация о справочниках вы можете посмотреть список справочников, ошибки и содержимое. См. раздел Информация о справочниках.

Список справочников

Справочник	Описание	Столбцы	Пример	Примечание
asnum_dic	Справочник сетевых протоколов. Облачный справочник, загружается по расписанию. Не редактируемый.	1. Номер АС 2. Название АС	0 -Reserved AS-, ZZ 1 LVLT-1, US 2 UDEL-DCN, US 3 MIT-GATEWAYS, US 4 ISI-AS, US 5 SYMBOLICS, US 6 BULL-HN, US 7 DSTL, GB 8 RICE-AS, US ...	Для принудительной загрузки справочника, выполните: sh /var/qoestor/backend/app_bash/cron_daily.sh
asnum_local_dic subnets_local_dic	В данных справочниках указывается список ваших локальных AS и локальных подсетей. Справочники используются для определения направления трафика (актуально, когда DPI установлен на зеркале) и фильтрации абонентов (чтобы в отчетах по абонентам не фигурировали IP-адреса хостов)	asnum_local_dic: 1. Номер AS 2. Название (отображается в отчетах) subnets_local_dic: 1. IP адрес или CIDR 2. Название (не отображается в отчетах, но формат справочника требует)	asnum_local_dic: 12345 LOCAL 65535 UNKNOWN subnets_local_dic: 192.168.1.0/24 LOCAL 10.64.66.0/24 LOCAL 172.16.0.0 LOCAL 2a02:2168:aaa:bbbb::2 LOCAL	Для управления фильтрацией по этим справочникам используйте параметры SUBSCRIBER_FILTER_MODE и TRAFFIC_DIR_DEF_MODE. См. раздел Конфигурация. Не добавляйте слишком большую подсеть. Разбивайте на мелкие. Ограничение - 100000000
asnum_exclude_dic / subnets_exclude_dic	В данных справочниках указывается список ваших АС и подсетей (либо одиночных IP), которые необходимо исключить из агрегированных логов. Подсети, указанные в справочниках будут игнорироваться при записи в агрегированный лог (который используется для построения отчетов).	asnum_exclude_dic: * Номер AS * Название subnets_exclude_dic: * IP адрес или CIDR * Название	asnum_exclude_dic: 12345 LOCAL 65535 LOCAL subnets_exclude_dic: 192.168.1.0/24 LOCAL 10.64.66.0/24 LOCAL 172.16.0.0 LOCAL 2a02:2168:aaa:bbbb::2 LOCAL	Для управления фильтрацией по этим справочникам используйте параметр SUBSCRIBER_EXCLUDE_MODE. См. раздел Конфигурация. <note important>Не добавляйте слишком большую подсеть. Разбивайте на мелкие. Ограничение - 100000000</note>
gtp_cells_locations_dic	В справочнике указывается список сотовых базовых станций оператора с координатами. Справочник используется для построения отчетов на картах.	* MCC - Mobile Country Code * MNC - Mobile Network Code * TAC/LAC - Location Area Code * CID/SAC/ECI - Cell ID * LAT - широта * LON - долгота * CELL_ID * CELL_NAME * CELL_DESCRIPTION	250 1 17774 4881420 55.783184763200005 37.525521418974996 cell_id_0 cell_name_0 cell_description_0 250 1 17716 3398401 55.86518562276 37.66309891922 cell_id_2 cell_name_2 cell_description_2 250 1 17716 3398411 55.86312193015 37.657007482905 cell_id_4 cell_name_4 cell_description_4 250 1 17782 2359297 55.86370294584 37.661393065359995 cell_id_5 cell_name_5 cell_description_5 250 1 1603 26057 55.80400515858 37.63568625476 cell_id_1 cell_name_1 cell_description_1 250 1 17781 2914571 55.799170861170005 37.6376949577 cell_id_6 cell_name_6 cell_description_6 250 1 1605 23895 55.869888445769995 37.64814730281 cell_id_3 cell_name_3 cell_description_3	—
net_protocols_dic	Справочник сетевых протоколов протоколов. Не редактируемый, обновляется при обновлении QoE Stor.	* Номер порта * Название протокола	0 HOPOPT 1 ICMP 2 IGMP 3 GGP 4 IPv4 5 ST 6 TCP 7 CBT 8 EGP 9 IGP 10 BBN-RCC-MON 11 NVP-II ...	—
protocols_dic / protocols_groups_dic	Справочники прикладных протоколов и групп прикладных протоколов. Облачные справочники, загружаются по расписанию. Не редактируемые.	protocols_dic: * Номер порта * Название протокола * ID группы protocols_groups_dic: * ID группы * Название группы	protocols_dic: 1 tcpmux 1 2 compressnet 1 5 rje 1 7 echo 1 11 systat 7 13 daytime 7 17 qotd 7 18 msp 8 19 chargen 7 20 ftp-data 9 21 ftp 9 22 ssh 8 23 telnet 8 25 smtp 5 27 nsw-fe 7 ... protocols_groups_dic: 1 Network services 2 Web browsing 3 P2P 4 Gaming 5 E-Mail 6 Instant messengers	Для принудительной загрузки справочников, выполните: sh /var/qoestor/backend/app_bash/cron_daily.sh
settings_dic	Служебный справочник настроек. Формируется скриптами на основе файлов конфигурации. Не редактируемый.	* Параметр * Значение	TRAFFIC_DIR_DEF_MODE 0 SUBSCRIBER_FILTER_MODE 0 SUBSCRIBER_EXCLUDE_MODE 0 URLS_CATEGORIES_DIC_AUTOLOAD_ENABLED 1 ASNUM_DIC_AUTOLOAD_ENABLED 1 ULR_REPLACE_LOGIN_WITH_VCHANNEL 0 ULR_USE_DIC_WHEN_REPLACING_LOGIN 0 ULR_VCHANNEL_NAME_DIC_AUTOLOAD_ENABLED 0 ULR_VCHANNEL_NAME_DIC_URL NAT_AGG_LOG_FIELDS_TO_SAVE_BITMASK 0x654 NAT_IMPORT_FROM_FULLFLOW NAT_AGG_LOG_GROUP_TIME_INTERVAL 15 FULLFLOW_AGG_LOG_FIELDS_TO_SAVE_BITMASK 0x39fff FULLFLOW_AGG_LOG_GROUP_TIME_INTERVAL 15 CLICKSTREAM_AGG_LOG_FIELDS_TO_SAVE_BITMASK 0x30ff CLICKSTREAM_AGG_LOG_GROUP_TIME_INTERVAL 15 CLICKSTREAM_ADD_INFO_FROM_FULLFLOW 1 SUBSCRIBER_BIND_MODE 1 FILL_IP_LOGIN_BINDING_FROM_FULLFLOW 1 NAT_ADD_LOGIN_FROM_IP_LOGIN_BINDING 1 APP_ID qoestor APP_VERSION 1.9.0	—
subscribers_dic	Справочник абонентов.	* IP адрес * Логин * Идентификатор коммутатора (доступа) * Порт коммутатора * Вендор абонентского оборудования * Кабель * Договор * Сервисы * MAC адрес абонентского оборудования (зарезервирован для будущих целей)	10.64.66.100 login 5 port1 unit_vendor cabel contract services mac 10.64.66.101 login 2 port1 unit_vendor cabel contract services mac 10.64.66.102 login 3 port1 unit_vendor cabel contract services mac 10.64.66.103 login 4 port1 unit_vendor cabel contract services mac 10.64.66.104 login 5 port1 unit_vendor cabel contract services mac 10.64.66.105 login 5 port2 unit_vendor cabel contract services mac 10.64.66.106 login 5 port3 unit_vendor cabel contract services mac	—
switches_dic	Иерархический справочник оборудования (коммутаторов доступа и магистральных коммутаторов)	* Идентификатор оборудования UInt64 * Наименование * Тип * Район * Адрес * IP адрес коммутатора * Оператор * Флаг * Идентификатор вышестоящего коммутатора * Порт * Собственник	1 Коммутатор 1 Ethernet Регион1 Адрес 1 10.140.1.18 oper1 0 0 2 Коммутатор 2 Ethernet Регион2 Адрес 2 10.140.2.18 oper1 0 0 3 Коммутатор 3 Ethernet Регион3 Адрес 3 10.140.3.18 oper1 0 1 port1 4 Коммутатор 4 Ethernet Регион4 Адрес 4 10.140.4.18 oper1 0 3 port1 5 Коммутатор 5 Ethernet Регион5 Адрес 5 10.140.5.18 oper1 0 4 port1	—
crc_dic	Справочник ошибок (CRC) на портах коммутаторов	* Идентификатор коммутатора * Порт коммутатора * Значение CRC	2 port1 450 5 port1 550 5 port2 500 4 port1 780	—
urlcats_dic / urlcats_host_dic	Справочники категорий хостов. Предназначены для определения принадлежности хоста определённой категории. Облачные справочники, загружаются по расписанию. Не редактируемые.	urlcats_dic: * Идентификатор категории * Код категории urlcats_host_dic: * Хост * Идентификатор категории	urlcats_dic: 1 unknown 2 software_tools 3 search_engine 4 0_other 5 school 6 proxys 7 tabak_alkohol 8 religia urlcats_host_dic: iris06-gold-ssl.gameloft.com 1 satfrog-tv.ddns.net:5890 1 vs824.vcdn.biz 1 cs05.trafmag.com 1	Для принудительной загрузки справочников, выполните: sh /var/qoestor/backend/app_bash/cron_daily.sh
ulr_vchannel_name_dic	Справочник имен виртуальных каналов. Предназначен для формирования статистики по виртуальным каналам.	* Номер DPI оборудования * Номер виртуального канала (vchannel) * Название	0 1 vchan_0_1 0 2 vchan_0_2 0 3 vchan_0_3 0 4 vchan_0_4 1 1 vchan_1_1 1 2 vchan_1_2 1 3 vchan_1_3 1 4 vchan_1_4	—