Различия

Показаны различия между двумя версиями страницы.

--- dpi:dpi_components:qoestor:install_and_update:hardware_recommendations [2024/12/19 11:08] – atereschenko
+++ dpi:dpi_components:qoestor:install_and_update:hardware_recommendations [2025/01/13 13:34] (текущий) – elena.krasnobryzh
@@ Строка 1: / Строка 1: @@
-===== Рекомендации к оборудованию =====
+====== Рекомендации к оборудованию ======
 {{indexmenu_n>2}}
@@ Строка 10: / Строка 10: @@
   - Жесткий диск (SSD крайне желательно) - от 500 ГБ
   - Операционная система - CentOS 8.x, [[veos:installation|VEOS]], CentOS Stream 8.x, Oracle Linux Server 8.x, AlmaLinux 8.x
-  - Сетевая плата (NIC) - от 1 Gbps
+  - Сетевая плата (NIC) - от 1Gbps
 ==== Рекомендуемые требования на каждые 10Gbps пикового трафика на DPI ====
@@ Строка 17: / Строка 17: @@
   - Жесткий диск (SSD крайне желательно) - от 500 ГБ, смотрите подробнее расчет объема хранения и рекомендации по организации хранения ниже
   - Операционная система - CentOS 8.x, [[veos:installation|VEOS]], CentOS Stream 8.x, Oracle Linux Server 8.x, AlmaLinux 8.x
-  - Сетевая плата (NIC) - 2x10 Gbps. Необходимо учитывать, что каждый DPI генерирует IPFIX поток на скорости от 0,5% до 1% от скорости реального трафика. Так же рекомендуется объединять порты на QoE в LAG для отказоустойчивости.
+  - Сетевая плата (NIC) - 2x10Gbps. Необходимо учитывать, что каждый DPI генерирует IPFIX поток на скорости от 0,5% до 1% от скорости реального трафика. Так же рекомендуется объединять порты на QoE в LAG для отказоустойчивости.
+Пример сервера QoE, который принимает IPFIX от DPI для 100Gbps пикового трафика (in+out):
+Серверная платформа (2U, процессор AMD EPYC 7713 64 ядра, 512 GB RAM, HW RAID Controller, 2 x 960GB SSD RAID1 для ОС, 4x3.84TB SSD NVME RAID0 stripe default диски + диски HDD/SSD RAID50 для хранения под определенный объем, 2x сетевой адаптер 2x25GbE, 2xБП)
 === Калькулятор объема хранения в зависимости от среднесуточной скорости трафика ===
@@ Строка 25: / Строка 29: @@
 |RAM			|От 16 ГБ, необходимо устанавливать модули памяти **во все каналы процессора** на материнской плате. Памяти должно быть не меньше, чем объем запрашиваемых данных. Чем больше памяти, тем лучше производительность при построении отчетов. Чем больше памяти, тем меньше нагрузка на диск.\\ **Всегда отключайте файл подкачки.**|
 |Disks			|Для оптимизации стоимости хранения используется несколько типов дисков: \\ default — быстрые диски для приема данных и осуществления процесса агрегации, рекомендуется использовать SSD NVMe в RAID0. \\ hot — диски для хранения в период когда будет большая вероятность запроса отчетов по этим данных, обычно до 3 месяцев, SSD диски в RAID-10, RAID-5, RAID-6 или RAID-50. \\ cold — медленные диски большого объема для долгосрочного хранения, рекомендуется использовать HDD диски в RAID-10, RAID-5, RAID-6 или RAID-50. \\ Срок хранения на каждом уровне задается в конфигурации через GUI. Перемещение данных между дисками и очистка данных происходит автоматически в соответствии с настройками. Также предусмотрен механизм контроля за переполнением с целью защиты базы данных.  Основной объем данных хранится в каталоге /var/lib/clickhouse. Временные данные (дампы IPFIX) хранятся в каталоге /var/qoestor/backend/dump. Для лучшей производительности важно (рекомендуется), чтобы эти каталоги находились на отдельном диске или массиве. См. [[dpi:dpi_components:qoestor:configuration:disc|Настройка дискового пространства]]. \\ Для размещения ОС и ПО QoE Stor необходимо использовать 2 диска емкостью от 256ГБ, объединенные в RAID 1 (зеркало). Необходимо использовать аппаратный RAID контроллер.|
+|QoE Cluster (Шардирование) 			| Лучше делать несколько узлов и объединять их в кластер:\\ GUI умеет оптимизировать запросы таким образом, чтобы все узлы строили отчеты параллельно. \\  [[dpi:dpi_components:ipfix_balancer|]] используется для равномерного распределения данных по узлам (roundrobin), тем самым сильно улучшая производительность системы. \\ При выходе узла из строя, балансировщик автоматом будет лить данные на оставшиеся узлы. Общая рекомендация такая: как можно больше узлов и как можно меньше порции данных на каждом. Тогда у вас будет:\\ 1. Высокая производительность\\ 2. Хорошая отказоустойчивость\\ 3. Масштабируемость (через добавление узлов в кластер) |
 ==== Советы по эксплуатации от Яндекс ClickHouse ====

Аккаунт

Настройки

Различия