Sharding configuration [Документация VAS Experts]
Документация VAS Experts Документация VAS Experts-mobile
in

Settings

  • Show page
  • Old revisions
  • Export to PDF
  • Fold/unfold all
  • Backlinks
  • Show page
  • Old revisions
  • Export to PDF
  • Fold/unfold all
  • Backlinks

    • Differences

    This shows you the differences between two versions of the page.

    Link to this comparison view

    Both sides previous revisionPrevious revision
    Next revision    		Previous revision
    en:dpi:dpi_components:qoestor:configuration:sharding:start [2023/04/03 12:55] – arusnaken:dpi:dpi_components:qoestor:configuration:sharding:start [Unknown date] (current) – removed - external edit (Unknown date) 127.0.0.1
    Line 1: Line 1:
    -====== Sharding configuration ====== 
    -{{indexmenu_n>7}} 
    - 
    -QoE Stor can work in sharding mode: horizontal cluster scaling, in which parts of the same database are placed on different shards (nodes). 
    -Through sharding, you can: 
    -1. Distribute the load on the IPFIX inserts from several DPIs, spreading it over the nodes. 
    -2. At times speed up the construction of reports by increasing the machine resources-nodes: the construction of reports is performed in parallel and glued into the final report. 
    - 
    -===== 1 Create a cluster ===== 
    - 
    -Для создания кластера QoE Stor необходимо на каждом узле прописать настройки узлов кластера в файле /etc/clickhouse-server/config.d/qoestor-cluster-config.xml 
    - 
    -Отредактируйте файл на 1-м узле 
    - 
    -{{ :dpi:dpi_components:qoestor:configuration:sharding:sharding-xml.png?direct&400 |}} 
    - 
    -Для каждой шарды надо указать IP хоста или его имя. Сохраните изменения. 
    - 
    -Скопируйте файл на остальные узлы кластера.  
    - 
    -Перезапустить БД командой fastor-db-restart на каждом узле. Кластер готов к работе. 
    - 
    -<note important>Порт 9000 должен быть открыт на всех узлах кластера файреволом во внутренней сети между узлами кластера.</note> 
    - 
    - 
    -===== 2 Добавление кластера в GUI ===== 
    - 
    -==== 1 Подключение мастер-узла ==== 
    - 
    -Выберите, какой узел будете использовать в качестве мастера. Подключите его в настройках GUI. Включите режим кластера. Смотрите скрин ниже. 
    - 
    -{{ :dpi:dpi_components:qoestor:configuration:sharding:sharding-master-node.png?direct&400 |}} 
    - 
    -<note important>Порт 8123 должен быть открыт на всех узлах кластера.</note> 
    - 
    -==== 2 Управление через SSH ==== 
    - 
    -В разделе GUI Адимнистратор / Оборудование добавить все узлы для управления по SSH.  
    - 
    -{{ :dpi:dpi_components:qoestor:configuration:sharding:sharding-ssh.png?direct&400 |}} 
    - 
    - 
    -==== 3 Настройка IPFIX ресиверов ==== 
    - 
    - 
    -В конфигурации QoE Stor настроить ресиверы для каждого узла.  
    - 
    -{{ :dpi:dpi_components:qoestor:configuration:sharding:sharding-receivers.png?direct&400 |}} 
    - 
    -Перенастроить DPI для отправки IPFIX на соответствующие узлы кластера QoE. 
    - 
    -<note important>Распределяйте нагрузку равномерно. Один или несколько DPI  должны отправлять IPFIX на один узел QoE Stor.</note>   
    - 
    -<note warning>Не отправляйте IPFIX от одного DPI на несколько узлов QoE Stor.</note> 
    -