| Предыдущая версия справа и слеваПредыдущая версияСледующая версия | Предыдущая версия |
| dpi:dpi_components:qoestor:install_and_update:hardware_recommendations [2024/12/19 11:56] – atereschenko | dpi:dpi_components:qoestor:install_and_update:hardware_recommendations [2025/01/13 13:34] (текущий) – elena.krasnobryzh |
|---|
| ===== Рекомендации к оборудованию ===== | ====== Рекомендации к оборудованию ====== |
| {{indexmenu_n>2}} | {{indexmenu_n>2}} |
| |
| |
| Пример сервера QoE, который принимает IPFIX от DPI для 100Gbps пикового трафика (in+out): | Пример сервера QoE, который принимает IPFIX от DPI для 100Gbps пикового трафика (in+out): |
| Серверная платформа (2U, процессор AMD EPYC 7713 64 ядра, 512 GB RAM, HW RAID Controller, 2 x 960GB SSD RAID1 для ОС, 4x3.84TB SSD RAID0 stripe default диски + диски HDD/SSD RAID50 для хранения под определенный объем, 2x сетевой адаптер 2x25GbE, 2xБП) | Серверная платформа (2U, процессор AMD EPYC 7713 64 ядра, 512 GB RAM, HW RAID Controller, 2 x 960GB SSD RAID1 для ОС, 4x3.84TB SSD NVME RAID0 stripe default диски + диски HDD/SSD RAID50 для хранения под определенный объем, 2x сетевой адаптер 2x25GbE, 2xБП) |
| |
| |
| |RAM |От 16 ГБ, необходимо устанавливать модули памяти **во все каналы процессора** на материнской плате. Памяти должно быть не меньше, чем объем запрашиваемых данных. Чем больше памяти, тем лучше производительность при построении отчетов. Чем больше памяти, тем меньше нагрузка на диск.\\ **Всегда отключайте файл подкачки.**| | |RAM |От 16 ГБ, необходимо устанавливать модули памяти **во все каналы процессора** на материнской плате. Памяти должно быть не меньше, чем объем запрашиваемых данных. Чем больше памяти, тем лучше производительность при построении отчетов. Чем больше памяти, тем меньше нагрузка на диск.\\ **Всегда отключайте файл подкачки.**| |
| |Disks |Для оптимизации стоимости хранения используется несколько типов дисков: \\ default — быстрые диски для приема данных и осуществления процесса агрегации, рекомендуется использовать SSD NVMe в RAID0. \\ hot — диски для хранения в период когда будет большая вероятность запроса отчетов по этим данных, обычно до 3 месяцев, SSD диски в RAID-10, RAID-5, RAID-6 или RAID-50. \\ cold — медленные диски большого объема для долгосрочного хранения, рекомендуется использовать HDD диски в RAID-10, RAID-5, RAID-6 или RAID-50. \\ Срок хранения на каждом уровне задается в конфигурации через GUI. Перемещение данных между дисками и очистка данных происходит автоматически в соответствии с настройками. Также предусмотрен механизм контроля за переполнением с целью защиты базы данных. Основной объем данных хранится в каталоге /var/lib/clickhouse. Временные данные (дампы IPFIX) хранятся в каталоге /var/qoestor/backend/dump. Для лучшей производительности важно (рекомендуется), чтобы эти каталоги находились на отдельном диске или массиве. См. [[dpi:dpi_components:qoestor:configuration:disc|Настройка дискового пространства]]. \\ Для размещения ОС и ПО QoE Stor необходимо использовать 2 диска емкостью от 256ГБ, объединенные в RAID 1 (зеркало). Необходимо использовать аппаратный RAID контроллер.| | |Disks |Для оптимизации стоимости хранения используется несколько типов дисков: \\ default — быстрые диски для приема данных и осуществления процесса агрегации, рекомендуется использовать SSD NVMe в RAID0. \\ hot — диски для хранения в период когда будет большая вероятность запроса отчетов по этим данных, обычно до 3 месяцев, SSD диски в RAID-10, RAID-5, RAID-6 или RAID-50. \\ cold — медленные диски большого объема для долгосрочного хранения, рекомендуется использовать HDD диски в RAID-10, RAID-5, RAID-6 или RAID-50. \\ Срок хранения на каждом уровне задается в конфигурации через GUI. Перемещение данных между дисками и очистка данных происходит автоматически в соответствии с настройками. Также предусмотрен механизм контроля за переполнением с целью защиты базы данных. Основной объем данных хранится в каталоге /var/lib/clickhouse. Временные данные (дампы IPFIX) хранятся в каталоге /var/qoestor/backend/dump. Для лучшей производительности важно (рекомендуется), чтобы эти каталоги находились на отдельном диске или массиве. См. [[dpi:dpi_components:qoestor:configuration:disc|Настройка дискового пространства]]. \\ Для размещения ОС и ПО QoE Stor необходимо использовать 2 диска емкостью от 256ГБ, объединенные в RAID 1 (зеркало). Необходимо использовать аппаратный RAID контроллер.| |
| |Шардирование QoE | Лучше делать несколько узлов и объединять их в кластер:\\ GUI умеет оптимизировать запросы таким образом, чтобы все узлы строили отчеты параллельно. \\ [[dpi:dpi_components:ipfix_balancer|]] используется для равномерного распределения данных по узлам (roundrobin), тем самым сильно улучшая производительность системы. \\ При выходе узла из строя, балансировщик автоматом будет лить данные на оставшиеся узлы. Общая рекомендация такая: как можно больше узлов и как можно меньше порции данных на каждом. Тогда у вас будет:\\ 1. Высокая производительность\\ 2. Хорошая отказоустойчивость\\ 3. Масштабируемость (через добавление узлов в кластер) | | |QoE Cluster (Шардирование) | Лучше делать несколько узлов и объединять их в кластер:\\ GUI умеет оптимизировать запросы таким образом, чтобы все узлы строили отчеты параллельно. \\ [[dpi:dpi_components:ipfix_balancer|]] используется для равномерного распределения данных по узлам (roundrobin), тем самым сильно улучшая производительность системы. \\ При выходе узла из строя, балансировщик автоматом будет лить данные на оставшиеся узлы. Общая рекомендация такая: как можно больше узлов и как можно меньше порции данных на каждом. Тогда у вас будет:\\ 1. Высокая производительность\\ 2. Хорошая отказоустойчивость\\ 3. Масштабируемость (через добавление узлов в кластер) | |
| |
| ==== Советы по эксплуатации от Яндекс ClickHouse ==== | ==== Советы по эксплуатации от Яндекс ClickHouse ==== |
