Настройка шардирования [Документация VAS Experts]

Настройка шардирования

QoE Stor может работать в режиме шардирования: горизонтальное масштабирование кластера, при которой части одной базы данных размещаются на разных шардах (узлах). За счет шардирования можно: 1. Распределить нагрузку на вставку IPFIX от нескольких DPI, размазывая ее по узлам. 2. В разы ускорить построение отчетов за счет увеличения машинных ресурсов-узлов: построение отчетов выполняет параллельно и склеивается в итоговый отчет.

1 Создание кластера

Для создания кластера QoE Stor необходимо на каждом узле прописать настройки узлов кластера в файле /etc/clickhouse-server/config.d/qoestor-cluster-config.xml

Отредактируйте файл на 1-м узле

<?xml version="1.0"?>
<yandex>
    <remote_servers>
        <qoestor_cluster>
            <shard>
                <replica>
                    <host>127.0.0.1</host>
                    <port>9000</port>
                </replica>
            </shard>
            <shard>
                <replica>
                    <host>127.0.0.2</host>
                    <port>9000</port>
                </replica>
            </shard>
            <shard>
                <replica>
                    <host>127.0.0.3</host>
                    <port>9000</port>
                </replica>
            </shard>
        </qoestor_cluster>
    </remote_servers>
</yandex>

Для каждой шарды надо указать IP хоста или его имя. Сохраните изменения.

Скопируйте файл на остальные узлы кластера.

Перезапустить БД командой fastor-db-restart на каждом узле. Кластер готов к работе.

Порт 9000 должен быть открыт на всех узлах кластера файреволом во внутренней сети между узлами кластера.

2 Добавление кластера в GUI

1 Подключение мастер-узла

Выберите, какой узел будете использовать в качестве мастера. Подключите его в настройках GUI. Включите режим кластера. Смотрите скрин ниже.

Порт 8123 должен быть открыт на всех узлах кластера.

2 Управление через SSH

В разделе GUI Адимнистратор / Оборудование добавить все узлы для управления по SSH.

3 Настройка IPFIX ресиверов

В конфигурации QoE Stor настроить ресиверы для каждого узла.

Перенастроить DPI для отправки IPFIX на соответствующие узлы кластера QoE.

Распределяйте нагрузку равномерно. Один или несколько DPI должны отправлять IPFIX на один узел QoE Stor.
Не отправляйте IPFIX от одного DPI на несколько узлов QoE Stor.