Требования к оборудованию

Не устанавливайте модуль QoE на сервер СКАТ (BRAS, NAT, DPI)!

Минимальные требования

Компонент возможно установить на VM для проведения тестов с минимальными требованиями:

Процессор (CPU) 2.5 ГГц - 1 ядро

Оперативная память (RAM) - от 16 ГБ

Жесткий диск (SSD крайне желательно) - от 500 ГБ

Операционная система - CentOS 8.x, VEOS, CentOS Stream 8.x, Oracle Linux Server 8.x, AlmaLinux 8.x.
Используя VEOS, при подборе оборудования учитывайте информацию в разделе Примечания к обновлениям VEOS

Сетевая плата (NIC) - от 1Gbps

Рекомендуемые требования на каждые 10Gbps пикового трафика на DPI

Процессор (CPU) от 2.5 ГГц - 6 ядер

Оперативная память (RAM) - 64 ГБ

Жесткий диск (SSD крайне желательно) - от 500 ГБ, смотрите подробнее расчет объема хранения и рекомендации по организации хранения ниже

Операционная система - CentOS 8.x, VEOS, CentOS Stream 8.x, Oracle Linux Server 8.x, AlmaLinux 8.x.
Используя VEOS, при подборе оборудования учитывайте информацию в разделе Примечания к обновлениям VEOS

Сетевая плата (NIC) - 2x10Gbps. Необходимо учитывать, что каждый DPI генерирует IPFIX поток на скорости от 0,5% до 1% от скорости реального трафика. Также рекомендуется объединять порты на QoE в LAG для отказоустойчивости.

Пример сервера QoE, который принимает IPFIX от DPI для 100Gbps пикового трафика (in+out): Серверная платформа (2U, процессор AMD EPYC 7713 64 ядра, 512 GB RAM, HW RAID Controller, 2 x 960GB SSD RAID1 для ОС, 4x3.84TB SSD NVME RAID0 stripe default диски + диски HDD/SSD RAID50 для хранения под определенный объем, 2x сетевой адаптер 2x25GbE, 2xБП)

Калькулятор объема хранения в зависимости от среднесуточной скорости трафика

Считается, что среднесуточный трафик составляет 60% от пикового суммарного (in+out) трафика.
В приведенном калькуляторе необходимо менять значение трафика для получения объемов хранения.

Подробные рекомендации

CPU	Один процессор с поддержкой инструкций SSE 4.2 начиная с Intel Nehalem и AMD EPYC Zen2 с количеством ядер 4 и более, базовой тактовой частотой от 2.5 ГГц и выше. Выбирайте процессоры с большим числом ядер. Тактовая частота менее важна. Например, 16 ядер с 2600 МГц лучше, чем 8 ядер 3600 МГц. Не отключайте Hyper-threading и Turbo-Boost.
RAM	От 16 ГБ, необходимо устанавливать модули памяти во все каналы процессора на материнской плате. Памяти должно быть не меньше, чем объем запрашиваемых данных. Чем больше памяти, тем лучше производительность при построении отчетов. Чем больше памяти, тем меньше нагрузка на диск. Всегда отключайте файл подкачки.
Disks	Тип файловой системы — ext4. Для оптимизации стоимости хранения используется несколько типов дисков: 1. default — быстрые диски для приема данных и осуществления процесса агрегации, рекомендуется использовать SSD NVMe в RAID0. 2. hot — диски для хранения в период когда будет большая вероятность запроса отчетов по этим данных, обычно до 3 месяцев, SSD диски в RAID-10, RAID-5, RAID-6 или RAID-50. 3. cold — медленные диски большого объема для долгосрочного хранения, рекомендуется использовать HDD диски в RAID-10, RAID-5, RAID-6 или RAID-50. Срок хранения на каждом уровне задается в конфигурации через GUI. Перемещение данных между дисками и очистка данных происходит автоматически в соответствии с настройками. Также предусмотрен механизм контроля за переполнением с целью защиты базы данных. Основной объем данных хранится в каталоге /var/lib/clickhouse. Временные данные (дампы IPFIX) хранятся в каталоге /var/qoestor/backend/dump. Для лучшей производительности важно (рекомендуется), чтобы эти каталоги находились на отдельном диске или массиве. См. Настройка дискового пространства. Для размещения ОС и ПО QoE Stor необходимо использовать 2 диска емкостью от 256ГБ, объединенные в RAID 1 (зеркало). Необходимо использовать аппаратный RAID контроллер.
QoE Cluster (Шардирование)	Лучше делать несколько узлов и объединять их в кластер: GUI умеет оптимизировать запросы таким образом, чтобы все узлы строили отчеты параллельно. IPFIX-балансировщик используется для равномерного распределения данных по узлам (roundrobin), тем самым сильно улучшая производительность системы. При выходе узла из строя, балансировщик автоматом будет лить данные на оставшиеся узлы. Общая рекомендация такая: как можно больше узлов и как можно меньше порции данных на каждом. Тогда у вас будет: 1. Высокая производительность 2. Хорошая отказоустойчивость 3. Масштабируемость (через добавление узлов в кластер)

Советы по эксплуатации от Яндекс ClickHouse

Советы по эксплуатации от Яндекс ClickHouse вы можете прочитать по ссылке https://clickhouse.com/docs/ru/operations/tips