Справочники

Конфигурация справочников

Все справочники находятся в папке /var/qoestor/backend/etc/db/ и имеют расширение .txt

Для каждого справочника есть образец sample.txt. Можно использовать в качестве шаблона.

Все столбцы в справочниках разделены символом табуляции (\t). Количество \t должно быть на единицу меньше, чем число столбцов в справочнике. Следите за этим внимательно.

При изменении файлов, данные подгружаются в БД автоматически.

Некоторые полезные команды при работе со справочниками:

Ускорить обновление данных в справочниках

clickhouse-client --database=qoestor --query="system reload dictionaries"

Проверить, есть ли ошибки в справочниках

clickhouse-client --database=qoestor --query="select * from system.dictionaries"

Проверить, есть ли данные в справочнике, например для subnets_local_dic

clickhouse-client --database=qoestor --query="select * from subnets_local_dic"

Также в dpiui2 в разделе QoE Аналитика / Администратор / Информация о справочниках вы можете посмотреть список справочников, ошибки и содержимое. См. раздел Информация о справочниках.

Список справочников

Справочник	Описание	Столбцы	Пример	Примечание
asnum_dic	Справочник сетевых протоколов. Облачный справочник, загружается по расписанию. Не редактируемый.	1. Номер АС 2. Название АС	0 -Reserved AS-, ZZ 1 LVLT-1, US 2 UDEL-DCN, US 3 MIT-GATEWAYS, US 4 ISI-AS, US 5 SYMBOLICS, US 6 BULL-HN, US 7 DSTL, GB 8 RICE-AS, US ...	Для принудительной загрузки справочника, выполните: sh /var/qoestor/backend/app_bash/cron_daily.sh
asnum_local_dic	В данных справочниках указывается список ваших локальных АС и локальных подсетей. Справочники используются для определения направления трафика (актуально, когда DPI установлен на зеркале) и фильтрации абонентов (чтобы в отчетах по абонентам не фигурировали IP-адреса хостов)	1. Номер АС 2. Название (отображается в отчетах)	12345 LOCAL 65535 UNKNOWN	Для управления фильтрацией по этим справочникам используйте параметры SUBSCRIBER_FILTER_MODE и TRAFFIC_DIR_DEF_MODE. См. раздел Конфигурация. Не добавляйте слишком большую подсеть, разбивайте на мелкие. Ограничение - 100000000
subnets_local_dic	1. IP адрес или CIDR 2. Название (не отображается в отчетах, но формат справочника требует)	192.168.1.0/24 LOCAL 10.64.66.0/24 LOCAL 172.16.0.0 LOCAL 2a02:2168:aaa:bbbb::2 LOCAL
asnum_exclude_dic	В данных справочниках указывается список ваших АС и подсетей (либо одиночных IP), которые необходимо исключить из агрегированных логов. Подсети, указанные в справочниках будут игнорироваться при записи в агрегированный лог (который используется для построения отчетов). Для управления фильтрацией по этим справочникам используйте параметр SUBSCRIBER_EXCLUDE_MODE. См. раздел Конфигурация.	1. Номер АС 2. Название (не отображается в отчетах, но формат справочника требует)	12345 LOCAL 65535 LOCAL	Не добавляйте слишком большую подсеть, разбивайте на мелкие. Ограничение - 100000000
subnets_exclude_dic	1. IP адрес или CIDR 2. Название (не отображается в отчетах, но формат справочника требует)	192.168.1.0/24 LOCAL 10.64.66.0/24 LOCAL 172.16.0.0 LOCAL 2a02:2168:aaa:bbbb::2 LOCAL
gtp_cells_locations_dic	В справочнике указывается список сотовых базовых станций оператора с координатами. Справочник используется для построения отчетов на картах.	1. MCC - Mobile Country Code - мобильный код страны 2. MNC - Mobile Network Code - код мобильной сети 3. TAC/LAC - Location Area Code - код местности 4. CID/SAC/ECI - Cell ID - идентификатор соты 5. LAT - latitude - широта 6. LON - longitude - долгота 7. CELL_ID - идентификатор соты (задается оператором) 8. CELL_NAME - название соты (задается оператором) 9. CELL_DESCRIPTION - описание соты (задается оператором)	250 1 17774 4881420 55.783184763200005 37.525521418974996 cell_id_0 cell_name_0 cell_description_0 250 1 17716 3398401 55.86518562276 37.66309891922 cell_id_2 cell_name_2 cell_description_2 250 1 17716 3398411 55.86312193015 37.657007482905 cell_id_4 cell_name_4 cell_description_4 250 1 17782 2359297 55.86370294584 37.661393065359995 cell_id_5 cell_name_5 cell_description_5 250 1 1603 26057 55.80400515858 37.63568625476 cell_id_1 cell_name_1 cell_description_1 250 1 17781 2914571 55.799170861170005 37.6376949577 cell_id_6 cell_name_6 cell_description_6 250 1 1605 23895 55.869888445769995 37.64814730281 cell_id_3 cell_name_3 cell_description_3
net_protocols_dic	Справочник сетевых протоколов протоколов. Не редактируемый, обновляется при обновлении QoE Stor.	1. Номер порта 2. Название протокола	\\ 0 HOPOPT\\ 1 ICMP\\ 2 IGMP\\ 3 GGP\\ 4 IPv4\\ 5 ST\\ 6 TCP\\ 7 CBT\\ 8 EGP\\ 9 IGP\\ 10 BBN-RCC-MON\\ 11 NVP-II\\ ...\\