Справочники [Документация VAS Experts]
Документация VAS Experts Документация VAS Experts-mobile
in

Настройки

  • Показать страницу
  • История страницы
  • Экспорт в PDF
  • Свернуть / развернуть всё
  • Ссылки сюда
  • Показать страницу
  • История страницы
  • Экспорт в PDF
  • Свернуть / развернуть всё
  • Ссылки сюда

    • Различия

    Показаны различия между двумя версиями страницы.

    Ссылка на это сравнение

    Предыдущая версия справа и слеваПредыдущая версия
    Следующая версия    		Предыдущая версия
    dpi:dpi_components:qoestor:dictionaries [2021/01/06 08:13] – [Справочник asnum_dic] arusnakdpi:dpi_components:qoestor:dictionaries [2024/09/26 15:29] (текущий) – создано - внешнее изменение 127.0.0.1
    Строка 1: Строка 1:
    -===== 6 Справочники ===== +===== Справочники ===== 
    -{{indexmenu_n>6}}+{{indexmenu_n>4}}
      
    -==== Конфигурация справочников ==== 
      
    -Все справочники находятся в папке /var/qoestor/backend/etc/db/ и имеют расширение .txt +  -[[dpi:dpi_components:qoestor:dictionaries:config]] 
    - +  -[[dpi:dpi_components:qoestor:dictionaries:list]] 
    -Для каждого справочника есть образец sample.txt. Можно использовать в качестве шаблона. +  -[[dpi:dpi_components:qoestor:dictionaries:opencellid]]
    - +
    -Все столбцы в справочниках разделены символом табуляции (\t). Количество \t должно быть на единицу меньше, чем число столбцов в справочнике. Следите за этим внимательно. +
    - +
    -При изменении файлов, данные подгружаются в БД автоматически. +
    - +
    -Некоторые полезные команды при работе со справочниками: +
    - +
    -  * Ускорить обновление данных в справочниках <code>clickhouse-client --database=qoestor --query="system reload dictionaries"</code> +
    -  * Проверить, есть ли ошибки в справочниках <code>clickhouse-client --database=qoestor --query="select * from system.dictionaries"</code> +
    -  * Проверить, есть ли данные в справочнике, например для subnets_local_dic <code>clickhouse-client --database=qoestor --query="select * from subnets_local_dic"</code> +
    - +
    - +
    -==== Справочники asnum_local_dic и subnets_local_dic ==== +
    - +
    -В данных справочниках указывается список ваших локальных AS и локальных подсетей. +
    -Справочники используется для определения направления трафика (актуально, когда DPI установлен на зеркале) и фильтрации абонентов (чтобы в отчетах по абонентам не фигурировали IP-адреса хостов) +
    - +
    -Пример справочника **asnum_local_dic**  +
    -<code> +
    -12345 LOCAL +
    -65535 UNKNOWN +
    -</code> +
    - +
    -Первый столбец - номер AS, второй - название (отображается в отчетах). +
    - +
    -Пример справочника **subnets_local_dic**  +
    -<code> +
    -192.168.1.0/24 LOCAL +
    -10.64.66.0/24 LOCAL +
    -172.16.0.0 LOCAL +
    -2a02:2168:aaa:bbbb::2 LOCAL +
    -</code> +
    - +
    -Первый столбец - IP адрес или CIDR, второй – название (не отображается в отчетах, но формат справочника требует). +
    - +
    -Для управления фильтрацией по этим справочникам используйте параметры SUBSCRIBER_FILTER_MODE и  TRAFFIC_DIR_DEF_MODE. См. раздел [[dpi:dpi_components:qoestor:configuration|Конфигурация]]. +
    - +
    -<note important>Не добавляйте слишком большую подсеть. Разбивайте на мелкие. Ограничение - 100000000</note> +
    - +
    -==== Справочники asnum_exclude_dic и subnets_exclude_dic ==== +
    - +
    -В данных справочниках указывается список ваших АС и подсетей (либо одиночных IP), которые необходимо исключить из агрегированных логов.  Подсети, указанные в справочниках будут игнорироваться при записи в агрегированный лог (который используется для построения отчетов). +
    -Для управления фильтрацией по этим справочникам используйте параметр SUBSCRIBER_EXCLUDE_MODE . См. раздел [[dpi:dpi_components:qoestor:configuration|Конфигурация]]. +
    - +
    -Пример справочника **asnum_exclude_dic**  +
    -<code> +
    -12345 LOCAL +
    -65535 LOCAL +
    -</code> +
    - +
    -Первый столбец - номер AS, второй - название (не отображается в отчетах, но формат справочника требует). +
    - +
    -Пример справочника **subnets_exclude_dic**  +
    -<code> +
    -192.168.1.0/24 LOCAL +
    -10.64.66.0/24 LOCAL +
    -172.16.0.0 LOCAL +
    -2a02:2168:aaa:bbbb::2 LOCAL +
    -</code> +
    - +
    -Первый столбец - IP адрес или CIDR, второй – название (не отображается в отчетах, но формат справочника требует). +
    - +
    -<note important>Не добавляйте слишком большую подсеть. Разбивайте на мелкие. Ограничение - 100000000</note> +
    - +
    -==== Справочники subscribers_dic, switches_dic, crc_dic ==== +
    - +
    -=== subscribers_dic === +
    - +
    -Справочник абонентов. +
    - +
    -Пример справочника +
    -<code> +
    -10.64.66.100 login 5 port1 unit_vendor cabel contract services mac +
    -10.64.66.101 login 2 port1 unit_vendor cabel contract services mac +
    -10.64.66.102 login 3 port1 unit_vendor cabel contract services mac +
    -10.64.66.103 login 4 port1 unit_vendor cabel contract services mac +
    -10.64.66.104 login 5 port1 unit_vendor cabel contract services mac +
    -10.64.66.105 login 5 port2 unit_vendor cabel contract services mac +
    -10.64.66.106 login 5 port3 unit_vendor cabel contract services mac +
    -</code> +
    - +
    -Столбцы: +
    -  - IP адрес  +
    -  - Логин +
    -  - Идентификатор коммутатора (доступа) +
    -  - Порт коммутатора +
    -  - Вендор абонентского оборудования +
    -  - Кабель +
    -  - Договор +
    -  - Сервисы +
    -  - MAC адрес абонентского оборудования (зарезервирован для будущих целей) +
    - +
    -=== switches_dic === +
    - +
    -Иерархический справочник оборудования (коммутаторов доступа и магистральных коммутаторов) +
    - +
    -Пример справочника +
    -<code> +
    -1 Коммутатор 1 Ethernet Регион1 Адрес 1 10.140.1.18 oper1 0 0  +
    -2 Коммутатор 2 Ethernet Регион2 Адрес 2 10.140.2.18 oper1 0 0  +
    -3 Коммутатор 3 Ethernet Регион3 Адрес 3 10.140.3.18 oper1 0 1 port1  +
    -4 Коммутатор 4 Ethernet Регион4 Адрес 4 10.140.4.18 oper1 0 3 port1  +
    -5 Коммутатор 5 Ethernet Регион5 Адрес 5 10.140.5.18 oper1 0 4 port1  +
    -</code> +
    - +
    -Столбцы: +
    -  - Идентификатор оборудования UInt64 +
    -  - Наименование +
    -  - Тип +
    -  - Район +
    -  - Адрес +
    -  - IP адрес коммутатора +
    -  - Оператор +
    -  - Флаг: признак магистрального коммутатора (1 - если да). Не используется, можно везде оставить 0 +
    -  - Идентификатор вышестоящего коммутатора UInt64 +
    -  - Порт вышестоящего коммутатора +
    -  - Собственник +
    - +
    -=== crc_dic === +
    - +
    -Справочник ошибок (CRC) на портах коммутаторов +
    - +
    -Пример справочника +
    -<code> +
    -2 port1 450 +
    -5 port1 550 +
    -5 port2 500 +
    -4 port1 780 +
    -</code> +
    - +
    -Столбцы +
    -  - Идентификатор коммутатора +
    -  - Порт коммутатора +
    -  - Значение CRC  +
    - +
    -==== Справочник gtp_cells_locations_dic ==== +
    - +
    -В справочнике указывается список сотовых базовых станций оператора с координатами. Справочник используется для построения отчетов на картах. +
    - +
    -Пример справочника +
    -<code> +
    -250 1 17774 4881420 55.783184763200005 37.525521418974996 cell_id_0 cell_name_0 cell_description_0 +
    -250 1 17716 3398401 55.86518562276 37.66309891922 cell_id_2 cell_name_2 cell_description_2 +
    -250 1 17716 3398411 55.86312193015 37.657007482905 cell_id_4 cell_name_4 cell_description_4 +
    -250 1 17782 2359297 55.86370294584 37.661393065359995 cell_id_5 cell_name_5 cell_description_5 +
    -250 1 1603 26057 55.80400515858 37.63568625476 cell_id_1 cell_name_1 cell_description_1 +
    -250 1 17781 2914571 55.799170861170005 37.6376949577 cell_id_6 cell_name_6 cell_description_6 +
    -250 1 1605 23895 55.869888445769995 37.64814730281 cell_id_3 cell_name_3 cell_description_3 +
    -</code> +
    - +
    -Столбцы: +
    -  - MCC - Mobile Network Code - код мобильной сети +
    -  - MNC - Mobile Network Code - код мобильной сети +
    -  - TAC/LAC - Location Area Code - код местности +
    -  - CID/SAC/ECI - Cell ID - идентификатор соты +
    -  - LAT - latitude - широта +
    -  - LON - longitude - долгота +
    -  - CELL_ID - идентификатор соты (задается оператором) +
    -  - CELL_NAME - название соты (задается оператором) +
    -  - CELL_DESCRIPTION - описание соты (задается оператором) +
    - +
    - +
    - +
    -==== Справочник settings_dic ==== +
    - +
    -Служебный справочник настроек. Формируется скриптами на основе файлов конфигурации. Не редактируемый. +
    - +
    -Пример справочника +
    -<code> +
    -TRAFFIC_DIR_DEF_MODE 0 +
    -SUBSCRIBER_FILTER_MODE 0 +
    -SUBSCRIBER_EXCLUDE_MODE 0 +
    -URLS_CATEGORIES_DIC_AUTOLOAD_ENABLED 1 +
    -ASNUM_DIC_AUTOLOAD_ENABLED 1 +
    -ULR_REPLACE_LOGIN_WITH_VCHANNEL 0 +
    -ULR_USE_DIC_WHEN_REPLACING_LOGIN 0 +
    -ULR_VCHANNEL_NAME_DIC_AUTOLOAD_ENABLED 0 +
    -ULR_VCHANNEL_NAME_DIC_URL  +
    -NAT_AGG_LOG_FIELDS_TO_SAVE_BITMASK 0x654 +
    -NAT_IMPORT_FROM_FULLFLOW  +
    -NAT_AGG_LOG_GROUP_TIME_INTERVAL 15 +
    -FULLFLOW_AGG_LOG_FIELDS_TO_SAVE_BITMASK 0x39fff +
    -FULLFLOW_AGG_LOG_GROUP_TIME_INTERVAL 15 +
    -CLICKSTREAM_AGG_LOG_FIELDS_TO_SAVE_BITMASK 0x30ff +
    -CLICKSTREAM_AGG_LOG_GROUP_TIME_INTERVAL 15 +
    -CLICKSTREAM_ADD_INFO_FROM_FULLFLOW 1 +
    -SUBSCRIBER_BIND_MODE 1 +
    -FILL_IP_LOGIN_BINDING_FROM_FULLFLOW 1 +
    -NAT_ADD_LOGIN_FROM_IP_LOGIN_BINDING 1 +
    -APP_ID qoestor +
    -APP_VERSION 1.9.0 +
    -</code> +
    - +
    -Столбцы: +
    -  - Параметр +
    -  - Значение +
    - +
    - +
    -==== Справочник ulr_vchannel_name_dic ==== +
    - +
    -Справочник имен виртуальных каналов. Предназначен для формирования статистики по виртуальным каналам. +
    - +
    -Пример справочника +
    -<code> +
    -0 1 vchan_0_1 +
    -0 2 vchan_0_2 +
    -0 3 vchan_0_3 +
    -0 4 vchan_0_4 +
    -1 1 vchan_1_1 +
    -1 2 vchan_1_2 +
    -1 3 vchan_1_3 +
    -1 4 vchan_1_4 +
    -</code> +
    - +
    -Столбцы: +
    -  - Номер DPI оборудования +
    -  - Номер виртуального канала (vchannel) +
    -  - Название +
    - +
    - +
    -==== Справочники urlcats_dic и urlcats_host_dic ==== +
    - +
    -Справочники категорий хостов. Предназначены для определения принадлежности хоста определённой категории. Облачные справочники, загружаются по расписанию. Не редактируемые. +
    - +
    -Пример справочника urlcats_dic +
    -<code> +
    -1 unknown +
    -2 software_tools +
    -3 search_engine +
    -4 0_other +
    -5 school +
    -6 proxys +
    -7 tabak_alkohol +
    -8 religia +
    -... +
    -</code> +
    - +
    -Столбцы: +
    -  - Идентификатор категории +
    -  - Код категории +
    - +
    - +
    -Пример справочника urlcats_host_dic +
    -<code> +
    -iris06-gold-ssl.gameloft.com    1 +
    -satfrog-tv.ddns.net:5890        1 +
    -vs824.vcdn.biz  1 +
    -cs05.trafmag.com        1 +
    -... +
    -</code> +
    - +
    -Столбцы: +
    -  - Хост +
    -  - Идентификатор категории +
    - +
    -Для принудительной загрузки справочников, выполните: <code>sh /var/qoestor/backend/app_bash/cron_daily.sh</code> +
    - +
    -==== Справочники protocols_dic и protocols_groups_dic ==== +
    - +
    -Справочники прикладных протоколов и групп прикладных протоколов. Облачные справочники, загружаются по расписанию. Не редактируемые.  +
    - +
    -Пример справочника protocols_dic +
    -<code> +
    -1 tcpmux 1 +
    -2 compressnet 1 +
    -5 rje 1 +
    -7 echo 1 +
    -11 systat 7 +
    -13 daytime 7 +
    -17 qotd 7 +
    -18 msp 8 +
    -19 chargen 7 +
    -20 ftp-data 9 +
    -21 ftp 9 +
    -22 ssh 8 +
    -23 telnet 8 +
    -25 smtp 5 +
    -27 nsw-fe 7 +
    -... +
    -</code> +
    - +
    -Столбцы: +
    -  - Номер порта +
    -  - Название протокола +
    -  - Идентификатор группы протокола +
    - +
    - +
    -Пример справочника protocols_groups_dic +
    -<code> +
    -1 Network services +
    -2 Web browsing +
    -3 P2P +
    -4 Gaming +
    -5 E-Mail +
    -6 Instant messengers +
    -... +
    -</code> +
    - +
    -Столбцы: +
    -  - Идентификатор группы протокола +
    -  - Название группы +
    - +
    -Для принудительной загрузки справочников, выполните: <code>sh /var/qoestor/backend/app_bash/cron_daily.sh</code> +
    - +
    - +
    - +
    - +
    - +
    -==== Справочник net_protocols_dic ==== +
    - +
    -Справочник сетевых протоколов протоколов. Не редактируемый, обновляется при обновлении QoE Stor.  +
    - +
    -Пример справочника net_protocols_dic +
    -<code> +
    -0 HOPOPT +
    -1 ICMP +
    -2 IGMP +
    -3 GGP +
    -4 IPv4 +
    -5 ST +
    -6 TCP +
    -7 CBT +
    -8 EGP +
    -9 IGP +
    -10 BBN-RCC-MON +
    -11 NVP-II +
    -... +
    -</code> +
    - +
    -Столбцы: +
    -  - Номер порта +
    -  - Название протокола+