Sharding configuration [Документация VAS Experts]
Документация VAS Experts Документация VAS Experts-mobile
in

Settings

  • Show page
  • Old revisions
  • Export to PDF
  • Fold/unfold all
  • Backlinks
  • Show page
  • Old revisions
  • Export to PDF
  • Fold/unfold all
  • Backlinks

    • Differences

    This shows you the differences between two versions of the page.

    Link to this comparison view

    Next revision    		Previous revision
    en:dpi:dpi_components:qoestor:configuration:sharding:start [2023/04/03 12:52] – created arusnaken:dpi:dpi_components:qoestor:configuration:sharding:start [Unknown date] (current) – removed - external edit (Unknown date) 127.0.0.1
    Line 1: Line 1:
    -====== Настройка шардирования ====== 
    -{{indexmenu_n>7}} 
    - 
    -QoE Stor может работать в режиме шардирования: горизонтальное масштабирование кластера, при которой части одной базы данных размещаются на разных шардах (узлах). 
    -За счет шардирования можно: 
    -1. Распределить нагрузку на вставку IPFIX от нескольких DPI, размазывая ее по узлам. 
    -2. В разы ускорить построение отчетов за счет увеличения машинных ресурсов-узлов: построение отчетов выполняет параллельно и склеивается в итоговый отчет. 
    - 
    -===== 1 Создание кластера ===== 
    - 
    -Для создания кластера QoE Stor необходимо на каждом узле прописать настройки узлов кластера в файле /etc/clickhouse-server/config.d/qoestor-cluster-config.xml 
    - 
    -Отредактируйте файл на 1-м узле 
    - 
    -{{ :dpi:dpi_components:qoestor:configuration:sharding:sharding-xml.png?direct&400 |}} 
    - 
    -Для каждой шарды надо указать IP хоста или его имя. Сохраните изменения. 
    - 
    -Скопируйте файл на остальные узлы кластера.  
    - 
    -Перезапустить БД командой fastor-db-restart на каждом узле. Кластер готов к работе. 
    - 
    -<note important>Порт 9000 должен быть открыт на всех узлах кластера файреволом во внутренней сети между узлами кластера.</note> 
    - 
    - 
    -===== 2 Добавление кластера в GUI ===== 
    - 
    -==== 1 Подключение мастер-узла ==== 
    - 
    -Выберите, какой узел будете использовать в качестве мастера. Подключите его в настройках GUI. Включите режим кластера. Смотрите скрин ниже. 
    - 
    -{{ :dpi:dpi_components:qoestor:configuration:sharding:sharding-master-node.png?direct&400 |}} 
    - 
    -<note important>Порт 8123 должен быть открыт на всех узлах кластера.</note> 
    - 
    -==== 2 Управление через SSH ==== 
    - 
    -В разделе GUI Адимнистратор / Оборудование добавить все узлы для управления по SSH.  
    - 
    -{{ :dpi:dpi_components:qoestor:configuration:sharding:sharding-ssh.png?direct&400 |}} 
    - 
    - 
    -==== 3 Настройка IPFIX ресиверов ==== 
    - 
    - 
    -В конфигурации QoE Stor настроить ресиверы для каждого узла.  
    - 
    -{{ :dpi:dpi_components:qoestor:configuration:sharding:sharding-receivers.png?direct&400 |}} 
    - 
    -Перенастроить DPI для отправки IPFIX на соответствующие узлы кластера QoE. 
    - 
    -<note important>Распределяйте нагрузку равномерно. Один или несколько DPI  должны отправлять IPFIX на один узел QoE Stor.</note>   
    - 
    -<note warning>Не отправляйте IPFIX от одного DPI на несколько узлов QoE Stor.</note> 
    -