Настройка шардирования, создание кластера QoE

QoE Stor может работать в режиме шардирования: горизонтальное масштабирование кластера, при которой части одной базы данных размещаются на разных шардах (узлах). За счет шардирования можно: 1. Распределить нагрузку на вставку IPFIX от нескольких DPI, размазывая ее по узлам. 2. В разы ускорить построение отчетов за счет увеличения машинных ресурсов-узлов: построение отчетов выполняет параллельно и склеивается в итоговый отчет.

Для создания кластера QoE Stor необходимо на каждом узле прописать настройки узлов кластера в файле /etc/clickhouse-server/config.d/qoestor-cluster-config.xml

Отредактируйте файл на 1-м узле

<?xml version="1.0"?>
<yandex>
    <remote_servers>
        <qoestor_cluster>
            <shard>
                <replica>
                    <host>127.0.0.1</host>
                    <port>9000</port>
                </replica>
            </shard>
            <shard>
                <replica>
                    <host>127.0.0.2</host>
                    <port>9000</port>
                </replica>
            </shard>
            <shard>
                <replica>
                    <host>127.0.0.3</host>
                    <port>9000</port>
                </replica>
            </shard>
        </qoestor_cluster>
    </remote_servers>
</yandex>

Для каждой шарды надо указать IP хоста или его имя. Сохраните изменения.

Скопируйте файл на остальные узлы кластера.

Перезапустить БД командой fastor-db-restart на каждом узле. Кластер готов к работе.

Выберите, какой узел будете использовать в качестве мастера. Подключите его в настройках GUI. Включите режим кластера. Смотрите скрин ниже.

В разделе GUI Адимнистратор / Оборудование добавить все узлы для управления по SSH.

В конфигурации QoE Stor настроить ресиверы для каждого узла.

Перенастроить DPI для отправки IPFIX на соответствующие узлы кластера QoE.