Sharding configuration [Документация VAS Experts]

This is an old revision of the document!


Sharding configuration

QoE Stor can work in sharding mode: horizontal cluster scaling, in which parts of the same database are placed on different shards (nodes). Through sharding, you can: 1. Distribute the load on the IPFIX inserts from several DPIs, spreading it over the nodes. 2. At times speed up the construction of reports by increasing the machine resources-nodes: the construction of reports is performed in parallel and glued into the final report.

1 Create a cluster

Для создания кластера QoE Stor необходимо на каждом узле прописать настройки узлов кластера в файле /etc/clickhouse-server/config.d/qoestor-cluster-config.xml

Отредактируйте файл на 1-м узле

Для каждой шарды надо указать IP хоста или его имя. Сохраните изменения.

Скопируйте файл на остальные узлы кластера.

Перезапустить БД командой fastor-db-restart на каждом узле. Кластер готов к работе.

Порт 9000 должен быть открыт на всех узлах кластера файреволом во внутренней сети между узлами кластера.

2 Добавление кластера в GUI

1 Подключение мастер-узла

Выберите, какой узел будете использовать в качестве мастера. Подключите его в настройках GUI. Включите режим кластера. Смотрите скрин ниже.

Порт 8123 должен быть открыт на всех узлах кластера.

2 Управление через SSH

В разделе GUI Адимнистратор / Оборудование добавить все узлы для управления по SSH.

3 Настройка IPFIX ресиверов

В конфигурации QoE Stor настроить ресиверы для каждого узла.

Перенастроить DPI для отправки IPFIX на соответствующие узлы кластера QoE.

Распределяйте нагрузку равномерно. Один или несколько DPI должны отправлять IPFIX на один узел QoE Stor.
Не отправляйте IPFIX от одного DPI на несколько узлов QoE Stor.