Различия

Показаны различия между двумя версиями страницы.

--- dpi:dpi_components:qoestor [2020/09/14 05:41] – [Информация о версиях] arusnak
+++ dpi:dpi_components:qoestor [2024/09/26 15:29] (текущий) – создано - внешнее изменение 127.0.0.1
@@ Строка 1: / Строка 1: @@
-====== 7 Модуль QoE Stor ======
+====== QoE Stor (Модуль сбора статистики) ======
-{{indexmenu_n>7}}
+{{indexmenu_n>6}}
-== Модуль сбора и хранения данных для QoE аналитики ==
+  -[[dpi:dpi_components:qoestor:intro]]
+  -[[dpi:dpi_components:qoestor:install_and_update]]
+  -[[dpi:dpi_components:qoestor:configuration]]
+  -[[dpi:dpi_components:qoestor:dictionaries]]
+  -[[dpi:dpi_components:qoestor:data_export]]
+  -[[dpi:dpi_components:qoestor:commands]]
-===== Введение =====
-Модуль предназначен для сбора и хранения данных Нетфлоу и Кликстрим. Данные используются для анализа QoE в DPIUI2.
-===== Архитектура =====
-Данные от СКАТ DPI принимаются на нескольких сокетах (tcp или udp) c помощью [[dpi:dpi_components:utilities:ipfixreceiver2|утилиты приема IPFIX потоков данных]].
-Данные хранятся в БД ClickHouse.
-{{ :dpi:dpi_components:qoestor:qoestor_arc.png?400 |}}
-===== Инсталляция и обновление =====
-==== Рекомендации к оборудованию ====
-<note important>Не устанавливайте модуль на сервер с DPI платформой!</note>
-=== Минимальные требования ===
-Для подсистемы можно использовать оборудование или виртуальные машины со сл.характеристиками:
-  - Процессор (CPU) 2.5 ГГц - 1 шт
-  - Оперативная память (RAM) - от 16 Гб
-  - Жесткий диск (SSD крайне желательно) - от 500 Гб
-  - Операционная система - CentOS 7+ или CentOS 8+
-  - Сетевая плата (NIC) - от 1 Гбит/сек
-<note important>{{ :dpi:dpi_components:capacity_space_for_qoe_and_hardware_example.xlsx |Калькулятор с примером оборудования}}</note>
-== Процессор ==
-Требуется поддержка набора инструкций SSE 4.2.
-Выбирайте процессоры с большим числом ядер. Тактовая частота менее важна. Например, 16 ядер с 2600 МГц лучше, чем 8 ядер 3600 МГц.
-<note important>Не отключайте Hyper-threading и Turbo-Boost.</note>
-== Оперативная память ==
-Памяти должно быть не меньше чем объем запрашиваемых данных.
-Чем больше памяти, тем лучше производительность при построении отчетов.
-Чем больше памяти, тем меньше нагрузка на диск.
-Минимальное требование - 16Гб.
-Всегда отключайте файл подкачки.
-== Жесткий диск ==
-Требуемое место на диске от 16ГБ на каждый день хранения в зависимости от трафика. Подсчитано, что 10 Гбит/с среднесуточного трафика генерирует примерно 25 ГБ данных за один час в QoE Store.
-Если ваш бюджет позволяет использовать SSD, используйте SSD (крайне рекомендуется). В противном случае используйте HDD. SATA HDDs 7200 RPM подойдут.
-При использовании HDD можно объединить их RAID-10, RAID-5, RAID-6 или RAID-50.
-Основной объем данных хранится в каталоге /var/lib/clickhouse.
-Временные данные (дампы ipfix) хранятся в каталоге /var/qoestor/backend/dump.
-Для лучшей производительности важно (рекомендуется), чтобы эти каталоги находились на отдельном диске или массиве. См. [[dpi:dpi_components:qoestor #перенос_дампов_и_данных_бд_на_отдельный_диск|Перенос дампов и данных БД на отдельный диск]]
-=== Советы по эксплуатации от Яндекс ClickHouse ===
-Советы по эксплуатации от Яндекс ClickHouse вы можете прочитать по ссылке [[https://clickhouse.yandex/docs/ru/operations/tips/|https://clickhouse.yandex/docs/ru/operations/tips/]].
-==== Информация о версиях ====
-=== Версия v.1.6.0 (14.09.2020) ===
-  * Опция: подмена поля Логин значением из поля vchannel
-  * Баг фикс
-=== Версия v.1.4.2 (01.06.2020) ===
-  * Баг фикс
-=== Версия v.1.4.0 (04.05.2020) ===
-  * Поддержка совместимости с Clickhouse 20.3
-  * Возможность установки на CentOS 8
-=== Версия v.1.3.8 (09.04.2020) ===
-  * Обновлены справочники протоколов
-  * Добавлено автообновление справочника АС
-=== Версия v.1.3.6 (25.11.2019) ===
-  * Обновлены справочники протоколов
-=== Версия v.1.3.5 (06.11.2019) ===
-  * Исправлено поведение справочника локальных подсетей (попадали лишние адреса)
-  * Адаптирована загрузка кликстрима для правильной работы ЛК в dpiui2-2.8.2
-=== Версия v.1.3.4 (25.10.2019) ===
-  * Locked в кликстрим
-=== Версия v.1.3.3 (15.10.2019) ===
-  * Обновление Кликхаус до последней версии ( >= 19.15 )
-  * Улучшен метод загрузки и обработки логов
-  * Подготовлена база для анализа сырых логов
-  * Соединение логов Клистрим и Нетфлоу
-=== Версия v.1.1.1 (06.09.2019) ===
-  * Обновление Кликхаус до последней версии
-  * Справочники asnum_exclude_diс, subnets_exclude_dic и соответствующий режим фильтрации по этим справочникам
-=== Версия v.1.0.9 (21.02.2019) ===
-  * Устранен баг с неверным распознаванием магистральных коммутаторов
-  * Обновлен справочник protocols_dic
-=== Версия v.1.0.7 хот фиксы (24.12.2018) ===
-  * Предусмотрен реэкспорт ipfix в конфигах ресивера: IPFIX_FULLFLOW_EXPORT и IPFIX_CLICKSTREAM_EXPORT
-=== Версия v.1.0.6 хот фиксы (04.12.2018) ===
-  * Исправлены баги в работе справочника subnets_local_dic (типа A call to function range would produce 12884901882 array elements)
-  * Исправлена конфигурация ресиверов ipfixreceiver2 (FileWriter queue is full. Records dropped.)
-=== Версия v.1.0.5 (03.12.2018) ===
-  * Справочники по Категориям хостов
-  * Переход на ipfixreceiver2
-<note important>
-  - Перед обновлением не забудьте обновить скрипт установки (в разделе Инсталляция). Для обновления используйте скрипт установки.
-  - После обновления, проверьте, запустились ли ресиверы (netstat -nlpa | grep 1500 и netstat -nlpa | grep 1501). Сокеты должны прослушиваться ipfixreceiver2
-  - Если ресиверы не запустились, выполните скрипт sudo sh /var/qoestor/backend/qoestor-config.sh
-</note>
-=== Версия v.1.0.4 (02.11.2018) ===
-  * Внедрена предагрегация, которая сокращает нетфлоу в 6-7 раз, кликстрим в 3 раза
-  * Внедрены справочники: абоненты, коммутаторы, автономные системы (AS), crc
-  * Добавлена опция определения направления трафика и фильтрация абонентов (разделение IP хостов и IP абонентов) по AS и CIDR. Опция актуальна в случае установки СКАТ DPI на зеркале.
-Данная версия QoE Stor работает с версией DPIUI2-2.1.5+
-<note important>Если вы успели поставить версию 1.0.0, перед установкой новой версии необходимо удалить БД (полная несовместимость версий).
-Для этого выполните команду  <code>clickhouse-client --query="drop database qoestor"</code></note>
-=== Версия v.1.0.0 (20.09.2018) ===
-  * Создан новый модуль – QoE Stor
-==== Инсталляция ====
-<note warning>Перед установкой или обновлением проверьте наличие интернета. Запуски скриптов выполняйте из под root или sudo.</note>
-<note important>Проверьте правильность установки времени и временной зоны на сервере. При необходимости поправьте и перезапустите сервер.</note>
-Для установки или обновления в автоматическом режиме, выполните последовательно:
-  - Выполните скрипт [[https://vasexperts.ru/install/fastor-rpm_install.sh|fastor-rpm_install.sh]]. <code>sudo wget https://vasexperts.ru/install/fastor-rpm_install.sh
-sudo sh fastor-rpm_install.sh</code> Будет произведена установка rpm-пакетов: ipfixreceiver, clickhouse, fastor. Будет произведена автоматическая настройка согласно конфигурации.
-  - Выполните команду <code>clickhouse-client -n < /var/qoestor/backend/etc/db/qoestor.sql</code> Будет обновлена схема БД.
-<note important>Не забывайте после установки выполнять <code>clickhouse-client -n < /var/qoestor/backend/etc/db/qoestor.sql</code> Это страхует случаи, когда схема не успевает обновиться в результате долгого перезапуска БД.</note>
-==== Обновление ====
-Обновление выполняется теми же скриптами, что и в разделе [[dpi:dpi_components:qoestor#инсталляция|Инсталляция]].
-Если вы выполнили команду yum –y update и перестали запускаться ресиверы, обратитесь к разделу решения проблем по [[dpi:dpi_components:qoestor#выполнили_yum_y_update_не_запускаются_ресиверы|ссылке]].
-<note important>Не забывайте после обновления выполнять <code>clickhouse-client -n < /var/qoestor/backend/etc/db/qoestor.sql</code> Это страхует случаи, когда схема не успевает обновиться в результате долгого перезапуска БД.</note>
-==== Конфигурация ====
-=== Конфигурация ipfix ресиверов ===
-Настройка ipfix ресиверов через файл .env \\ <code>/var/qoestor/backend/.env</code>
-Стандартная конфигурация выглядит следующим образом \\ <code>
-#Ipfix form DPI 0
-IPFIX_FULLFLOW_PORT_TYPE[0]=tcp
-IPFIX_FULLFLOW_PORT[0]=1500
-#IPFIX_FULLFLOW_ROTATE_MINUTES[0]=10
-#IPFIX_FULLFLOW_ROTATE_DELAY_SECONDS[0]=0
-#IPFIX_FULLFLOW_FW_MAX_QUEUE_SIZE[0]=10
-#IPFIX_FULLFLOW_EXPORT[0]=10.0.0.2/9920/tcp,10.0.0.3/3440/udp
-IPFIX_CLICKSTREAM_PORT_TYPE[0]=tcp
-IPFIX_CLICKSTREAM_PORT[0]=1501
-#IPFIX_CLICKSTREAM_ROTATE_MINUTES[0]=12
-#IPFIX_CLICKSTREAM_ROTATE_DELAY_SECONDS[0]=400
-#IPFIX_CLICKSTREAM_FW_MAX_QUEUE_SIZE[0]=10
-#IPFIX_CLICKSTREAM_EXPORT[0]=10.0.0.2/9921/tcp,10.0.0.3/3441/udp
-#Traffic direction definition
-# 0 - as is
-# 1 - by AS (for fullflow only)
-# 2 - by CIDR (for fullflow and clickstream)
-# 3 - by both: AS and CIDR
-# 4 - any: AS or CIDR
-TRAFFIC_DIR_DEF_MODE=0
-#Subscriber filter
-# 0 - no filter
-# 1 - by AS (for fullflow only)
-# 2 - by CIDR (for fullflow and clickstream)
-# 3 - by both: AS and CIDR
-# 4 - any: AS or CIDR
-SUBSCRIBER_FILTER_MODE=0
-#Subscriber exclude
-# 0 - no exclude
-# 1 - by AS (for fullflow only)
-# 2 - by CIDR (for fullflow and clickstream)
-# 3 - by both: AS and CIDR
-# 4 - any: AS or CIDR
-SUBSCRIBER_EXCLUDE_MODE=0
-#Enable host (url) categories dics autoload
-URLS_CATEGORIES_DIC_AUTOLOAD_ENABLED=1
-</code>
-В представленной конфигурации настроен запуск fullflow и clickstream ресиверов на udp сокетах 1500 и 1501 соответственно. <<0>> в индексе массива означает, что прием идет от DPI под номером 0.
-<note tip>Лучше использовать tcp, т.к для udp могут теряться пакеты при превышении MTU.</note>
-**Список параметров**
-  * IPFIX_FULLFLOW_PORT_TYPE[i] и IPFIX_CLICKSTREAM_PORT_TYPE[i] определяют тип трафика, принимаемого на порту: tcp или udp. Рекомендуется ставить tcp.
-  * IPFIX_FULLFLOW_PORT[i] и IPFIX_CLICKSTREAM_PORT[i] определяют номер порта.
-  * TRAFFIC_DIR_DEF_MODE и SUBSCRIBER_FILTER_MODE определяет режим фильтрации абонентов согласно справочникам asnum_local_dic и subnets_local_dic. Значения TRAFFIC_DIR_DEF_MODE=0 и SUBSCRIBER_FILTER_MODE=0 означают, что вычислять направление трафика и фильтровать абонентов не требуется.
-  * SUBSCRIBER_EXCLUDE_MODE определяет режим фильтрации абонентов согласно справочникам asnum_exclude_diс и subnets_exclude_dic. Значение SUBSCRIBER_EXCLUDE_MODE=0 означает, что фильтрация не требуется.
-  * IPFIX_FULLFLOW_EXPORT[i] и IPFIX_CLICKSTREAM_EXPORT[i] дают возможность настроить экспорт на сторонние ресиверы. Формат ip/port/proto[,ip/port/proto].
-  * IPFIX_FULLFLOW_ROTATE_MINUTES[i] и IPFIX_CLICKSTREAM_ROTATE_MINUTES[i] дают возможность настроить период ротации дампов и запись их в БД. По умолчанию это 10 минут для fullflow и 12 минут для clickstream.
-  * IPFIX_FULLFLOW_ROTATE_DELAY_SECONDS[i] и IPFIX_CLICKSTREAM_ROTATE_DELAY_SECONDS[i] дают возможность настроить задержку вставки данных на определенное количество секунд. По умолчанию для fullflow – 0 секунд, для clickstream – 400 секунд. Задержка для clickstream относительно fullflow нужна, чтобы обеспечить соединения логов fullflow и clickstream для обогащения статистических отчетов.
-  * IPFIX_FULLFLOW_FW_MAX_QUEUE_SIZE[i] и IPFIX_CLICKSTREAM_FW_MAX_QUEUE_SIZE[i] определяют максимальный размер очереди на ресиверах. Лучше не трогать.
-<note important>Если конфигурация изменилась, необходимо запустить скрипт sudo sh /var/qoestor/backend/qoestor-config.sh</note>
-**Следующий пример конфигурации позволяет настроить прием от нескольких DPI** \\ <code>
-#Ipfix form DPI 0
-IPFIX_FULLFLOW_PORT_TYPE[0]=tcp
-IPFIX_FULLFLOW_PORT[0]=1500
-IPFIX_CLICKSTREAM_PORT_TYPE[0]=tcp
-IPFIX_CLICKSTREAM_PORT[0]=1501
-#Ipfix form DPI 1
-IPFIX_FULLFLOW_PORT_TYPE[1]=tcp
-IPFIX_FULLFLOW_PORT[1]=1510
-IPFIX_CLICKSTREAM_PORT_TYPE[1]=tcp
-IPFIX_CLICKSTREAM_PORT[1]=1511
-#Ipfix form DPI 2
-IPFIX_FULLFLOW_PORT_TYPE[2]=tcp
-IPFIX_FULLFLOW_PORT[2]=1520
-IPFIX_CLICKSTREAM_PORT_TYPE[2]=tcp
-IPFIX_CLICKSTREAM_PORT[2]=1521
-</code>
-**Пример конфигурации, когда требуется определение абонентов по CIDR**
-Данная конфигурация актуальна в случаях, когда СКАТ DPI установлен на зеркале.
-<code>
-TRAFFIC_DIR_DEF_MODE=2
-SUBSCRIBER_FILTER_MODE=2
-</code>
-Не забудьте настроить справочник subnets_local_dic для этого примера конфигурации!
-**Пример конфигурации, когда настроен экспорт на сторонние ресиверы**
-<code>
-IPFIX_FULLFLOW_PORT_TYPE[0]=tcp
-IPFIX_FULLFLOW_PORT[0]=1500
-IPFIX_FULLFLOW_EXPORT[0]=10.0.0.2/1600/tcp
-IPFIX_CLICKSTREAM_PORT_TYPE[0]=tcp
-IPFIX_CLICKSTREAM_PORT[0]=1501
-IPFIX_CLICKSTREAM_EXPORT[0]=10.0.0.2/1601/tcp
-</code>
-== Перезапуск ресиверов ==
-Перезапуск всех ресиверов можно выполнить командой <code>sudo sh /var/qoestor/backend/qoestor-config.sh</code>
-Если требуется перезапуск ресиверов по отдельности, это можно сделать через перезапуск сервисов, например так
-  * Для CentOS 7 <code>systemctl restart qoestor_fullflow_0.service
-systemctl restart qoestor_clickstream_0.service</code>
-  * Для CentOS 6 <code>service qoestor_fullflow_0 stop
-service qoestor_clickstream_0 stop
-service qoestor_fullflow_0 start
-service qoestor_clickstream_0 start</code>
-== Остановка ресиверов ==
-  * Для CentOS 7 <code>systemctl stop qoestor_fullflow_0.service
-systemctl stop qoestor_clickstream_0.service</code>
-  * Для CentOS 6 <code>service qoestor_clickstream_0 stop
-service qoestor_fullflow_0 stop</code>
-== Остановка и запуск БД clickhouse ==
-  * Остановка <code>sudo /etc/init.d/clickhouse-server stop</code>
-  * Запуск <code>sudo /etc/init.d/clickhouse-server restart</code>
-=== Конфигурация DPI ===
-== Настройка экспорта ==
-Версия DPI платформы д.б. не ниже 8.1.
-Экспорт ipfix можно настроить, напрямую отредактировав файл fastdpi.conf на dpi.
-<code>
-netflow=8
-netflow_dev=em1
-netflow_timeout=10
-netflow_full_collector_type=2
-netflow_full_port_swap=0
-netflow_full_collector=YOUR_QOESTOR_IP:1500
-ipfix_dev=em1
-ipfix_tcp_collectors=YOUR_QOESTOR_IP:1501
-</code>
-**Потребуется рестарт fastdpi, чтобы изменения вступили в силу.**
-**Учтите, что параметр netflow – это битовая маска. Допускает несколько разных значений. Подробнее смотрите тут [[dpi:dpi_options:opt_statistics:statistics_settings:start|Настройка экспорта IPFIX]]**
-Также вы можете выполнить настройку с помощью  DPIUI2 - [[dpi:dpi_components:dpiui:dpiui2|]]. Версия dpiui2 д.б не ниже 2.1.0.
-Чтобы выполнить настройку с помощью  DPIUI2, откройте раздел Управление DPI -> Конфигурация. Откройте вкладку Сбор и анализ статистики по протоколам и направлениям.
-Установите параметр neflow в Экспорт полной статистики по сессиям. См. рис. ниже.
-{{ :dpi:dpi_components:qoestor:qoestor_конфигурация_dpi.png?400 |}}
-Введите сокет fullflow ресивера в параметре netflow_full_collector. Параметр netflow_full_collector_type должен быть установлен в "Экспорт ipfix на udp колллектор", а параметр netflow_full_port_swap оставьте пустым или равным "Сохранять оригинальные номера портов". См. рис. ниже.
-{{ :dpi:dpi_components:qoestor:qoestor_конфигурация_dpi_1.png?400 |}}
-Введите сокет clickstream ресивера в параметре ipfix_udp_collectors. См. рис. ниже.
-{{ :dpi:dpi_components:qoestor:qoestor_конфигурация_dpi_2.png?400 |}}
-Нажмите Сохранить. Перезапустите fast_dpi.См. рис. ниже.
-{{ :dpi:dpi_components:qoestor:qoestor_конфигурация_dpi_save_restart.png?400 |}}
-== Присвоение номера DPI ==
-Откройте раздел Управление оборудованием -> Оборудование. Для каждого устройства введите Индентификатор на ipfix коллекторе. См. рис. ниже.
-{{ :dpi:dpi_components:qoestor:qoestor_конфигурация_dpi_set_dpi_num.png?400 |}}
-=== Настройка подключения DPIUI2 к QoE Stor ===
-Чтобы просматривать QoE отчеты, необходимо настроить подключение DPIUI2 к QoE Stor. См. раздел [[dpi:dpi_components:dpiui:dpiui2#настройка_подключения_к_qoe_stor|Настройка подключения к QoE Stor]]
-==== Конфигурация справочников ====
-Все справчники находятся в папке /var/qoestor/backend/etc/db/ и имеют расширение .txt
-Для каждого справочника есть образец sample.txt. Можно использовать в качестве шаблона.
-Все столы в справочниках разеделены символом табуляции (\t). Колиество \t должно быть на единицу меньше, чем число столбцов в справочнике. Следите за этим внимательно.
-При изменении файлов, данные подгружаются в БД автоматически.
-Некоторые полезные команды при работе со справочниками:
-  * Ускорить обновление данных в справочниках <code>clickhouse-client --database=qoestor --query="system reload dictionaries"</code>
-  * Проверить, есть ли ошибки в справочниках <code>clickhouse-client --database=qoestor --query="select * from system.dictionaries"</code>
-  * Проверить, есть ли данные в справочнике, например для subnets_local_dic <code>clickhouse-client --database=qoestor --query="select * from subnets_local_dic"</code>
-==== Справочники asnum_local_dic и subnets_local_dic ====
-В данных справочниках указывается список ваших локальных AS и локальных подсетей.
-Справочники используется для определения направления трафика (актуально, когда DPI установлен на зеркале) и фильтрации абонентов (чтобы в отчетах по абонентам не фигурировали IP-адреса хостов)
-Пример справочника **asnum_local_dic**
-<code>
-	LOCAL
-	UNKNOWN
-</code>
-Первый столбец - номер AS, второй - название (отображается в отчетах).
-Пример справочника **subnets_local_dic**
-<code>
-.168.1.0/24	LOCAL
-.64.66.0/24	LOCAL
-.16.0.0	LOCAL
-a02:2168:aaa:bbbb::2	LOCAL
-</code>
-Первый столбец - IP адрес или CIDR, второй – название (не отображается в отчетах, но формат справочника требует).
-<note important>Не добавляйте слишком большую подсеть. Разбивайте на мелкие. Ограничение - 100000000</note>
-==== Справочники asnum_exclude_diс и subnets_exclude_dic ====
-В данных справочниках указывается список ваших АС и подсетей (либо одиночных IP), которые необходимо исключить из агрегированных логов.  Подсети указанные в справочниках будут игнорироваться при записи в агрегированный лог (который используется для построения отчетов).
-Для управления фильтрацией по этим справочникам используйте параметр SUBSCRIBER_EXCLUDE_MODE . См. раздел [[dpi:dpi_components:qoestor#конфигурация|Конфигурация]].
-Пример справочника **asnum_exclude_diс**
-<code>
-	LOCAL
-	LOCAL
-</code>
-Первый столбец - номер AS, второй - название (не отображается в отчетах, но формат справочника требует).
-Пример справочника **subnets_exclude_dic**
-<code>
-.168.1.0/24	LOCAL
-.64.66.0/24	LOCAL
-.16.0.0	LOCAL
-a02:2168:aaa:bbbb::2	LOCAL
-</code>
-Первый столбец - IP адрес или CIDR, второй – название (не отображается в отчетах, но формат справочника требует).
-<note important>Не добавляйте слишком большую подсеть. Разбивайте на мелкие. Ограничение - 100000000</note>
-==== Справочники subscribers_dic, switches_dic, crc_dic ====
-=== subscribers_dic ===
-Справочник абонентов.
-Пример справочника
-<code>
-.64.66.100	login	5	port1	unit_vendor	cabel	contract	services	mac
-.64.66.101	login	2	port1	unit_vendor	cabel	contract	services	mac
-.64.66.102	login	3	port1	unit_vendor	cabel	contract	services	mac
-.64.66.103	login	4	port1	unit_vendor	cabel	contract	services	mac
-.64.66.104	login	5	port1	unit_vendor	cabel	contract	services	mac
-.64.66.105	login	5	port2	unit_vendor	cabel	contract	services	mac
-.64.66.106	login	5	port3	unit_vendor	cabel	contract	services	mac
-</code>
-Столбцы:
-  - IP адрес
-  - Логин
-  - Идентификатор коммутатора (доступа)
-  - Порт коммутатора
-  - Вендор абонентского оборудования
-  - Кабель
-  - Договор
-  - Сервисы
-  - MAC адрес абонентского оборудования (зарезервирован для будущих целей)
-=== switches_dic ===
-Иерархический справочник оборудования (коммутаторов доступа и магистральных коммутаторов)
-Пример справочника
-<code>
-	Коммутатор 1	Ethernet	Регион1	Адрес 1	10.140.1.18	oper1	0	0
-	Коммутатор 2	Ethernet	Регион2	Адрес 2	10.140.2.18	oper1	0	0
-	Коммутатор 3	Ethernet	Регион3	Адрес 3	10.140.3.18	oper1	0	1	port1
-	Коммутатор 4	Ethernet	Регион4	Адрес 4	10.140.4.18	oper1	0	3	port1
-	Коммутатор 5	Ethernet	Регион5	Адрес 5	10.140.5.18	oper1	0	4	port1
-</code>
-Столбцы:
-  - Идентификатор оборудования UInt64
-  - Наименование
-  - Тип
-  - Район
-  - Адрес
-  - IP адрес коммутатора
-  - Оператор
-  - Флаг: признак магистрального коммутатора (1 - если да). Не используется, можно везде оставить 0
-  - Идентификатор вышестоящего коммутатора UInt64
-  - Порт вышестоящего коммутатора
-  - Собственник
-=== crc_dic ===
-Справочник ошибок (CRC) на портах коммутаторов
-Пример справочника
-<code>
-	port1	450
-	port1	550
-	port2	500
-	port1	780
-</code>
-Столбцы
-  - Идентификатор коммутатора
-  - Порт коммутатора
-  - Значение CRC
-==== Справочники urlcats_dic и urlcats_host_dic ====
-Справочники Категорий хостов. Предназначены для определения принадлежности хоста определённой категории.
-Справочники подкачиваются автоматически с ресурсов vasexperts.ru.
-Для ускорения начальной загрузки выполните
-  - <code>sh /var/qoestor/backend/etc/cron_daily.sh</code>
-  - <code>clickhouse-client --database=qoestor --query="system reload dictionaries"</code>
-==== Перенос дампов и данных БД на отдельный диск ====
-По умолчанию все данные хранятся в разделе /var.
-Допустим, мы подключили отдельный диск к /home.
-  - Работаем под root пользователем <code>sudo su</code>
-  - Останавливаем ресиверы и БД <code>systemctl stop qoestor_fullflow_0.service
-systemctl stop qoestor_clickstream_0.service
-sudo /etc/init.d/clickhouse-server stop</code>
-  - Создаем каталоги в разделе /home <code>mkdir /home/qoestor
-mkdir /home/qoestor/clickhouse
-mkdir /home/qoestor/dump
-</code>
-  - Копируем данные на новый диск <code>cp -r /var/lib/clickhouse/* /home/qoestor/clickhouse
-cp -r /var/qoestor/backend/dump/* /home/qoestor/dump
-</code>
-  - Меняем владельца папки /home/qoestor/clickhouse <code>chown -R clickhouse:clickhouse /home/qoestor/clickhouse</code>
-  - Удаляем старые каталоги <code>rm -rf /var/lib/clickhouse
-rm -rf /var/qoestor/backend/dump/</code>
-  - Создаем симлинки <code>ln -s /home/qoestor/clickhouse /var/lib/clickhouse
-ln -s /home/qoestor/dump /var/qoestor/backend/dump
-</code>
-  - Проверяем линки <code>readlink -f /var/lib/clickhouse
-readlink -f /var/qoestor/backend/dump
-</code>
-  - Запускаем БД <code>sudo /etc/init.d/clickhouse-server restart</code>
-  - Запускаем ресиверы <code>sudo sh /var/qoestor/backend/qoestor-config.sh</code>
-===== Проблемы и решения =====
-==== Не работает, хотя все установили по инструкции ====
-Если вы все установили и настроили по инструкции, а в разделе DPIUI2 “QoE Аналитика” пусто, то вот перечень шагов, которые стоит выполнить, прежде чем обращаться в тех. поддержку.
-  - Проверьте правильность установки времени и таймзоны на серверах с dpiui2 и QoE Stor. Попробуйте в dpiui2 установить большой период. Если дело в таймзоне, данные появятся. Правильно настройте время на серверах dpiui2 и QoE Stor, перезапустите серверы полностью.
-  - На сервере с QoE Stor проверить, создана ли БД <code>clickhouse-client --query="show databases" | grep qoestor</code> Если БД не создана, создать ее командой <code>clickhouse-client -n < /var/qoestor/backend/etc/db/qoestor.sql</code>
-  - На сервере с QoE Stor проверить, есть ли данные в БД <code>clickhouse-client --query="select count(), min(flow_start_time), max(flow_start_time) from qoestor.fullflow"</code> и <code>clickhouse-client --query="select count(), min(time), max(time) from qoestor.clickstream"</code>Либо посмотреть, как наполняются партиции через интерфейс по ссылке <code>https://your_gui_host/#QoEAdmin/report=TableSpaceReport</code>
-  - Проверить, запущены ли ресиверы <code>ps aux | grep ipfix</code>
-  - На сервере с QoE Stor проверить логи ресиверов в папке <code>/var/qoestor/backend/logs</code> В логах не должно быть ошибок. Должна быть видна ротация дампов и запись их в БД.
-  - На сервере с QoE Stor проверить, прослушиваются ли порты 1500 и 1501 командой <code>netstat -nlpa | grep 1500 и netstat -nlpa | grep 1501</code> Перезапустить все ресиверы на всякий случай командой <code>sudo sh /var/qoestor/backend/qoestor-config.sh</code>
-  - Еще раз проверить [[dpi:dpi_components:qoestor#настройка_экспорта|настройки экспорта ipfix на dpi]]
-  - На сервере с DPIUI2 проверить [[dpi:dpi_components:dpiui:dpiui2#настройка_подключения_к_qoe_stor|настройки подключения GUI к QoE Stor]]
-  - На сервере с QoE Stor проверить, запущена ли СУБД ClickHouse командой <code>ps aux | grep clickhouse</code> Убедитесь, что достаточно оперативной памяти на сервере.
-  - На сервере с QoE Stor проверить /var/log/clickhouse-server/clickhouse-server.err.log
-Если есть необходимость очистить все данные в БД, то на сервере с QoE Stor надо
-  - Удалить БД командой <code>clickhouse-client --query="drop database qoestor"</code>
-  - Пересоздать БД командой <code>clickhouse-client -n < /var/qoestor/backend/etc/db/qoestor.sql</code>
-==== Выполнили yum –y update, не запускаются ресиверы ====
-При выполнении **yum –y update** ломаются некоторые библиотеки. Ресиверы перестают запускаться.
-  - Удалите fastor и зависимости <code> yum remove fastor ipfixreceiver libfixbuf netsa_silk netsa-python</code>
-  - Установите заново, используя скрипт [[https://vasexperts.ru/install/fastor-rpm_install.sh.gz|fastor-rpm_install.sh.gz]]
-==== Как уменьшить период хранения и очистить данные ====
-Очистка данных производится модулем dpiui2.
-В файле /var/www/html/dpiui2/backend/.env измените параметры
-QOESTOR_MAIN_LOG_PARTITIONS_LIFE_TIME_HOUR=2
-QOESTOR_AGG_LOG_PARTITIONS_LIFE_TIME_DAYS=15
-Выполните рестарт
-php /var/www/html/dpiui2/backend/artisan queue:restart
-===== SQL и выгрузка данных в CSV, JSON, TabSeparated =====
-При необходимости вы можете самостоятельно без дополнительных  инструментов сформировать собственные отчеты и выгрузить данные в любом формате CSV, JSON, TabSeparated.
-Данные хранятся в 4 основных логах
-  * qoestor.fullflow – полный netflow лог, период хранения – 24 часа
-  * qoestor.clicksteam – полный clickstream лог, период хранения – 24 часа
-  * qoestor.fullflow_agg – предагрегированный neflow лог, период хранения не ограничен
-  * qoestor.clicksteam_agg – предагрегированный clickstream лог, период хранения не ограничен
-Формат команды следущий <code>clickhouse-client --database=qoestor  --query="Ваш sql тут"</code>
-По умолчанию данные выгружаются в формате TabSeparated.
-**Пример**. Клиент попросил лог соединений с определенным хостом в формате CSV
-<code>clickhouse-client --database=qoestor --query="select * from fullflow prewhere flow_start_date = '2018-10-04' where (source_ipv4 = '10.64.66.100' or destination_ipv4 = '10.64.66.100') and host = 'google.com' ORDER BY flow_start_time limit 10 format CSV"</code>
-Подробную информацию по SQL ClickHouse смотрите по ссылке [[https://clickhouse.yandex/docs/ru/query_language/select/]]
-~~DISCUSSION|Помогите нам улучшить документацию: если что-то непонятно или вы обнаружили ошибку, сообщите нам об этом.~~

Аккаунт

Настройки

Различия