Настройка шардирования, создание кластера QoE

QoE Stor может работать в режиме шардирования: горизонтальное масштабирование кластера, при которой части одной базы данных размещаются на разных шардах (узлах). За счет шардирования можно: 1. Распределить нагрузку на вставку IPFIX от нескольких DPI, размазывая ее по узлам. 2. В разы ускорить построение отчетов за счет увеличения машинных ресурсов-узлов: построение отчетов выполняет параллельно и склеивается в итоговый отчет.

1 Создание кластера

Для создания кластера QoE Stor необходимо на каждом узле прописать настройки узлов кластера в файле /etc/clickhouse-server/config.d/qoestor-cluster-config.xml

Отредактируйте файл на 1-м узле

<?xml version="1.0"?>
<yandex>
<remote_servers>
<qoestor_cluster>
<shard>
<replica>
<host>127.0.0.1</host>
<port>9000</port>
</replica>
</shard>
<shard>
<replica>
<host>127.0.0.2</host>
<port>9000</port>
</replica>
</shard>
<shard>
<replica>
<host>127.0.0.3</host>
<port>9000</port>
</replica>
</shard>
</qoestor_cluster>
</remote_servers>
</yandex>

Для каждой шарды надо указать IP хоста или его имя. Сохраните изменения.

Скопируйте файл на остальные узлы кластера.

Перезапустить БД командой fastor-db-restart на каждом узле. Кластер готов к работе.

Порт 9000 должен быть открыт на всех узлах кластера файреволом во внутренней сети между узлами кластера.

2 Добавление кластера в GUI

1 Подключение мастер-узла

Выберите, какой узел будете использовать в качестве мастера. Подключите его в настройках GUI. Включите режим кластера. Смотрите скрин ниже.

Порт 8123 должен быть открыт на всех узлах кластера.

2 Управление через SSH

В разделе GUI Адимнистратор / Оборудование добавить все узлы для управления по SSH.

3 Настройка IPFIX ресиверов

В конфигурации QoE Stor настроить ресиверы для каждого узла.

Перенастроить DPI для отправки IPFIX на соответствующие узлы кластера QoE.