Настройка шардирования [Документация VAS Experts]

Настройка шардирования

QoE Stor поддерживает работу в режиме шардирования: горизонтальное масштабирование кластера, при которой части одной базы данных размещаются на разных шардах (узлах), что дает возможность:

  1. Распределить нагрузку на вставку IPFIX от нескольких DPI между несколькими QoE узлами.
  2. В разы ускорить построение отчетов за счет увеличения доступных ресурсов-узлов: построение отчетов выполняется параллельно и склеивается в итоговый отчет. Графический интерфейс отправляет запрос отчета Master QoE. Master QoE отправляет запросы Slaves QoE и готовит отчет на основе собственных данных. Slaves QoE генерируют ответ с отчетами и отправляют Master QoE. Master QoE агрегирует данные из всех QoE и собственные данные и отправляет ответ в графический интерфейс.

1 Создание кластера

Для создания кластера QoE Stor необходимо на каждом узле прописать настройки узлов кластера в файле /etc/clickhouse-server/config.d/qoestor-cluster-config.xml

Отредактируйте файл на 1-м узле

<?xml version="1.0"?>
<yandex>
    <remote_servers>
        <qoestor_cluster>
            <shard>
                <replica>
                    <host>127.0.0.1</host>
                    <port>9000</port>
                </replica>
            </shard>
            <shard>
                <replica>
                    <host>127.0.0.2</host>
                    <port>9000</port>
                </replica>
            </shard>
            <shard>
                <replica>
                    <host>127.0.0.3</host>
                    <port>9000</port>
                </replica>
            </shard>
        </qoestor_cluster>
    </remote_servers>
</yandex>

Для каждой шарды надо указать IP хоста или его имя. Сохраните изменения.

Скопируйте файл на остальные узлы кластера.

Перезапустить БД командой fastor-db-restart на каждом узле. Кластер готов к работе.

Порт 9000 должен быть открыт на всех узлах кластера файреволом во внутренней сети между узлами кластера.

2 Добавление кластера в GUI

1 Подключение мастер-узла

Выберите, какой узел будете использовать в качестве мастера. Подключите его в настройках GUI. Включите режим кластера. Смотрите скрин ниже.

Порт 8123 должен быть открыт на всех узлах кластера.

2 Управление через SSH

В разделе GUI Адимнистратор / Оборудование добавить все узлы для управления по SSH.

3 Настройка IPFIX ресиверов

В конфигурации QoE Stor настроить ресиверы для каждого узла.

Перенастроить DPI для отправки IPFIX на соответствующие узлы кластера QoE.

Используйте IPFIX-балансировщик, чтобы распределить нагрузку от одного DPI на несколько узлов QoE Stor.

Была ли полезна эта информация?