Настройка шардирования

QoE Stor поддерживает работу в режиме шардирования: горизонтальное масштабирование кластера, при которой части одной базы данных размещаются на разных шардах (узлах), что дает возможность:

1. Распределить нагрузку на вставку IPFIX от нескольких DPI между несколькими QoE узлами.
2. В разы ускорить построение отчетов за счет увеличения доступных ресурсов-узлов: построение отчетов выполняется параллельно и склеивается в итоговый отчет. Графический интерфейс отправляет запрос отчета Master QoE. Master QoE отправляет запросы Slaves QoE и готовит отчет на основе собственных данных. Slaves QoE генерируют ответ с отчетами и отправляют Master QoE. Master QoE агрегирует данные из всех QoE и собственные данные и отправляет ответ в графический интерфейс.

Для создания кластера QoE Stor необходимо на каждом узле прописать настройки узлов кластера в файле /etc/clickhouse-server/config.d/qoestor-cluster-config.xml

Отредактируйте файл на 1-м узле

<?xml version="1.0"?>
<yandex>
    <remote_servers>
        <qoestor_cluster>
            <shard>
                <replica>
                    <host>127.0.0.1</host>
                    <port>9000</port>
                </replica>
            </shard>
            <shard>
                <replica>
                    <host>127.0.0.2</host>
                    <port>9000</port>
                </replica>
            </shard>
            <shard>
                <replica>
                    <host>127.0.0.3</host>
                    <port>9000</port>
                </replica>
            </shard>
        </qoestor_cluster>
    </remote_servers>
</yandex>

Для каждой шарды надо указать IP хоста или его имя. Сохраните изменения.

Скопируйте файл на остальные узлы кластера.

Перезапустить БД командой fastor-db-restart на каждом узле. Кластер готов к работе.

Выберите, какой узел будете использовать в качестве мастера. Подключите его в настройках GUI. Включите режим кластера. Смотрите скрин ниже.

В разделе GUI Адимнистратор / Оборудование добавить все узлы для управления по SSH.

В конфигурации QoE Stor настроить ресиверы для каждого узла.

Перенастроить DPI для отправки IPFIX на соответствующие узлы кластера QoE.