Table of Contents

Справочники

Конфигурация справочников

Все справочники находятся в папке /var/qoestor/backend/etc/db/ и имеют расширение .txt

Для каждого справочника есть образец sample.txt. Можно использовать в качестве шаблона.

Все столбцы в справочниках разделены символом табуляции (\t). Количество \t должно быть на единицу меньше, чем число столбцов в справочнике. Следите за этим внимательно.

При изменении файлов, данные подгружаются в БД автоматически.

Некоторые полезные команды при работе со справочниками:

Также в dpiui2 в разделе QoE Аналитика / Администратор / Информация о справочниках вы можете посмотреть список справочников, ошибки и содержимое. См. раздел Информация о справочниках.

Список справочников

Справочник Описание Столбцы Пример Примечание
asnum_dic Справочник сетевых протоколов. Облачный справочник, загружается по расписанию. Не редактируемый. 1. Номер АС
2. Название АС 
0	-Reserved AS-, ZZ 1	LVLT-1, US 2	UDEL-DCN, US 3	MIT-GATEWAYS, US 4	ISI-AS, US 5	SYMBOLICS, US 6	BULL-HN, US 7	DSTL, GB 8	RICE-AS, US ...
 Для принудительной загрузки справочника, выполните:
sh /var/qoestor/backend/app_bash/cron_daily.sh
asnum_local_dic
subnets_local_dic 		В данных справочниках указывается список ваших локальных AS и локальных подсетей. Справочники используются для определения направления трафика (актуально, когда DPI установлен на зеркале) и фильтрации абонентов (чтобы в отчетах по абонентам не фигурировали IP-адреса хостов) asnum_local_dic:
1. Номер AS
2. Название (отображается в отчетах)
subnets_local_dic:
1. IP адрес или CIDR
2. Название (не отображается в отчетах, но формат справочника требует) 		asnum_local_dic:
12345	LOCAL 65535	UNKNOWN


subnets_local_dic: 

192.168.1.0/24	LOCAL 10.64.66.0/24	LOCAL 172.16.0.0	LOCAL 2a02:2168:aaa:bbbb::2	LOCAL
 Для управления фильтрацией по этим справочникам используйте параметры SUBSCRIBER_FILTER_MODE и TRAFFIC_DIR_DEF_MODE. См. раздел Конфигурация.
:!: Не добавляйте слишком большую подсеть. Разбивайте на мелкие. Ограничение - 100000000
asnum_exclude_dic
subnets_exclude_dic 		В данных справочниках указывается список ваших АС и подсетей (либо одиночных IP), которые необходимо исключить из агрегированных логов. Подсети, указанные в справочниках будут игнорироваться при записи в агрегированный лог (который используется для построения отчетов). asnum_exclude_dic:
1. Номер AS
2. Название
subnets_exclude_dic:
1. IP адрес или CIDR
2. Название 		asnum_exclude_dic:
12345	LOCAL 65535	LOCAL


subnets_exclude_dic: 

192.168.1.0/24	LOCAL 10.64.66.0/24	LOCAL 172.16.0.0	LOCAL 2a02:2168:aaa:bbbb::2	LOCAL
 Для управления фильтрацией по этим справочникам используйте параметр SUBSCRIBER_EXCLUDE_MODE. См. раздел Конфигурация.
:!: Не добавляйте слишком большую подсеть. Разбивайте на мелкие. Ограничение - 100000000
gtp_cells_locations_dic В справочнике указывается список сотовых базовых станций оператора с координатами. Справочник используется для построения отчетов на картах. 1. MCC - Mobile Country Code - мобильный код страны
2. MNC - Mobile Network Code - код мобильной сети
3. TAC/LAC - Location Area Code - код местности
4. CID/SAC/ECI - Cell ID - идентификатор соты
5. LAT - широта
6. LON - долгота
7. CELL_ID - идентификатор соты (задается оператором)
8. CELL_NAME - название соты (задается оператором)
9. CELL_DESCRIPTION - описание соты (задается оператором) 
250	1	17774	4881420	55.783184763200005	37.525521418974996	cell_id_0	cell_name_0	cell_description_0 250	1	17716	3398401	55.86518562276	37.66309891922	cell_id_2	cell_name_2	cell_description_2 250	1	17716	3398411	55.86312193015	37.657007482905	cell_id_4	cell_name_4	cell_description_4 250	1	17782	2359297	55.86370294584	37.661393065359995	cell_id_5	cell_name_5	cell_description_5 250	1	1603	26057	55.80400515858	37.63568625476	cell_id_1	cell_name_1	cell_description_1 250	1	17781	2914571	55.799170861170005	37.6376949577	cell_id_6	cell_name_6	cell_description_6 250	1	1605	23895	55.869888445769995	37.64814730281	cell_id_3	cell_name_3	cell_description_3
 —
net_protocols_dic Справочник сетевых протоколов протоколов. Не редактируемый, обновляется при обновлении QoE Stor. 1. Номер порта
2. Название протокола 
0	HOPOPT 1	ICMP 2	IGMP 3	GGP 4	IPv4 5	ST 6	TCP 7	CBT 8	EGP 9	IGP 10	BBN-RCC-MON 11	NVP-II ...
 —
protocols_dic
protocols_groups_dic 		Справочники прикладных протоколов и групп прикладных протоколов. Облачные справочники, загружаются по расписанию. Не редактируемые. protocols_dic:
1. Номер порта
2. Название протокола
3. ID группы
protocols_groups_dic:
1. ID группы
2. Название группы 		protocols_dic: 
1	tcpmux	1 2	compressnet	1 5	rje	1 7	echo	1 11	systat	7 13	daytime	7 17	qotd	7 18	msp	8 19	chargen	7 20	ftp-data	9 21	ftp	9 22	ssh	8 23	telnet	8 25	smtp	5 27	nsw-fe	7 ...


protocols_groups_dic: 

1	Network services 2	Web browsing 3	P2P 4	Gaming 5	E-Mail 6	Instant messengers
 Для принудительной загрузки справочников, выполните:
sh /var/qoestor/backend/app_bash/cron_daily.sh
settings_dic Служебный справочник настроек. Формируется скриптами на основе файлов конфигурации. Не редактируемый. 1. Параметр
2. Значение 
 TRAFFIC_DIR_DEF_MODE	0 SUBSCRIBER_FILTER_MODE	0 SUBSCRIBER_EXCLUDE_MODE	0 URLS_CATEGORIES_DIC_AUTOLOAD_ENABLED	1 ASNUM_DIC_AUTOLOAD_ENABLED	1 ULR_REPLACE_LOGIN_WITH_VCHANNEL	0 ULR_USE_DIC_WHEN_REPLACING_LOGIN	0 ULR_VCHANNEL_NAME_DIC_AUTOLOAD_ENABLED	0 ULR_VCHANNEL_NAME_DIC_URL	 NAT_AGG_LOG_FIELDS_TO_SAVE_BITMASK	0x654 NAT_IMPORT_FROM_FULLFLOW	 NAT_AGG_LOG_GROUP_TIME_INTERVAL	15 FULLFLOW_AGG_LOG_FIELDS_TO_SAVE_BITMASK	0x39fff FULLFLOW_AGG_LOG_GROUP_TIME_INTERVAL	15 CLICKSTREAM_AGG_LOG_FIELDS_TO_SAVE_BITMASK	0x30ff CLICKSTREAM_AGG_LOG_GROUP_TIME_INTERVAL	15 CLICKSTREAM_ADD_INFO_FROM_FULLFLOW	1 SUBSCRIBER_BIND_MODE	1 FILL_IP_LOGIN_BINDING_FROM_FULLFLOW	1 NAT_ADD_LOGIN_FROM_IP_LOGIN_BINDING	1 APP_ID	qoestor APP_VERSION	1.9.0
 —
subscribers_dic Справочник абонентов. 1. IP адрес
2. Логин
3. Идентификатор коммутатора (доступа)
4. Порт коммутатора
5. Вендор абонентского оборудования
6. Кабель
7. Договор
8. Сервисы
9. MAC адрес абонентского оборудования (зарезервирован для будущих целей) 
10.64.66.100	login	5	port1	unit_vendor	cabel	contract	services	mac 10.64.66.101	login	2	port1	unit_vendor	cabel	contract	services	mac 10.64.66.102	login	3	port1	unit_vendor	cabel	contract	services	mac 10.64.66.103	login	4	port1	unit_vendor	cabel	contract	services	mac 10.64.66.104	login	5	port1	unit_vendor	cabel	contract	services	mac 10.64.66.105	login	5	port2	unit_vendor	cabel	contract	services	mac 10.64.66.106	login	5	port3	unit_vendor	cabel	contract	services	mac
 —
switches_dic Иерархический справочник оборудования (коммутаторов доступа и магистральных коммутаторов) 1. Идентификатор оборудования UInt64
2. Наименование
3. Тип
4. Район
5. Адрес
6. IP адрес коммутатора
7. Оператор
8. Флаг
9. Идентификатор вышестоящего коммутатора
10. Порт
11. Собственник 
1	Коммутатор 1	Ethernet	Регион1	Адрес 1	10.140.1.18	oper1	0	0		 2	Коммутатор 2	Ethernet	Регион2	Адрес 2	10.140.2.18	oper1	0	0		 3	Коммутатор 3	Ethernet	Регион3	Адрес 3	10.140.3.18	oper1	0	1	port1	 4	Коммутатор 4	Ethernet	Регион4	Адрес 4	10.140.4.18	oper1	0	3	port1	 5	Коммутатор 5	Ethernet	Регион5	Адрес 5	10.140.5.18	oper1	0	4	port1
—
crc_dic Справочник ошибок (CRC) на портах коммутаторов 1. Идентификатор коммутатора
3. Порт коммутатора
4. Значение CRC 
2	port1	450 5	port1	550 5	port2	500 4	port1	780
 —
urlcats_dic
urlcats_host_dic 		Справочники категорий хостов. Предназначены для определения принадлежности хоста определённой категории. Облачные справочники, загружаются по расписанию. Не редактируемые. urlcats_dic:
1. Идентификатор категории
2. Код категории
urlcats_host_dic:
1. Хост
2. Идентификатор категории 		urlcats_dic: 
1	unknown 2	software_tools 3	search_engine 4	0_other 5	school 6	proxys 7	tabak_alkohol 8	religia


urlcats_host_dic: 

iris06-gold-ssl.gameloft.com    1 satfrog-tv.ddns.net:5890        1 vs824.vcdn.biz  1 cs05.trafmag.com        1
 Для принудительной загрузки справочников, выполните:
sh /var/qoestor/backend/app_bash/cron_daily.sh
ulr_vchannel_name_dic Справочник имен виртуальных каналов. Предназначен для формирования статистики по виртуальным каналам. 1. Номер DPI оборудования
2. Номер виртуального канала (vchannel)
3. Название 
0	1	vchan_0_1 0	2	vchan_0_2 0	3	vchan_0_3 0	4	vchan_0_4 1	1	vchan_1_1 1	2	vchan_1_2 1	3	vchan_1_3 1	4	vchan_1_4
 —

Cервис OpenCellID

В случае отсуствия данных координат в справочнике gtp_cells_locations_dic для некоторых базовых станций предлагается использование сервиса для обогащения справочника GUI СКАТ данными о базовых станциях из внешнего источника по API.

Сервис OpenCellID - это проект, который собирает GPS-координаты вышек сотовой связи и их соответствующие идентификационные данные области местоположения. База данных OpenCellID публикуется под международной лицензией Creative Commons Attribution-ShareAlike 4.0 лицензия на открытое содержимое с целью содействия бесплатному использованию и распространению данных.

Активация сервиса происходит добавлением в 

 /var/qoestor/backend/.env

Следующий параметров: 

#Включение автозагрузки OpenCellID словаря
CELL_TOWER_AUTOLOAD_ENABLED=1
# 0 - Выключено (default)
# 1 - Включено
#Токен в LocalAPI платформе
CELL_TOWER_LOADER_API_TOKEN=pk.fce9af82655c117ef42c88d36885cc8b
#Уровень логирования
CELL_TOWER_LOG=1
# 0 - Info
# 1 - Debug
#Временной промежуток для обновления пустых данных для отчета по гео позициям
CELL_TOWER_RESPONSE_HOUR=
#Задается в часах

Получение токена осуществляется через портал https://my.unwiredlabs.com/trial. После регистрации токен будет доступен:

При нажатии Show token появится бесплатный ключ с ограничением 100 запросов в день.