Компонент возможно установить на VM для проведения тестов с минимальными требованиями:
Пример сервера QoE, который принимает IPFIX от DPI для 100Gbps пикового трафика (in+out): Серверная платформа (2U, процессор AMD EPYC 7713 64 ядра, 512 GB RAM, HW RAID Controller, 2 x 960GB SSD RAID1 для ОС, 4x3.84TB SSD RAID0 stripe default диски + диски HDD/SSD RAID50 для хранения под определенный объем, 2x сетевой адаптер 2x25GbE, 2xБП)
Считается, что среднесуточный трафик составляет 60% от пикового суммарного (in+out) трафика.
В приведенном калькуляторе необходимо менять значение трафика для получения объемов хранения.
| CPU | Один процессор с поддержкой инструкций SSE 4.2 начиная с Intel Nehalem и AMD EPYC Zen2 с количеством ядер 4 и более, базовой тактовой частотой от 2.5 ГГц и выше. Выбирайте процессоры с большим числом ядер. Тактовая частота менее важна. Например, 16 ядер с 2600 МГц лучше, чем 8 ядер 3600 МГц. Не отключайте Hyper-threading и Turbo-Boost. |
| RAM | От 16 ГБ, необходимо устанавливать модули памяти во все каналы процессора на материнской плате. Памяти должно быть не меньше, чем объем запрашиваемых данных. Чем больше памяти, тем лучше производительность при построении отчетов. Чем больше памяти, тем меньше нагрузка на диск. Всегда отключайте файл подкачки. |
| Disks | Для оптимизации стоимости хранения используется несколько типов дисков: default — быстрые диски для приема данных и осуществления процесса агрегации, рекомендуется использовать SSD NVMe в RAID0. hot — диски для хранения в период когда будет большая вероятность запроса отчетов по этим данных, обычно до 3 месяцев, SSD диски в RAID-10, RAID-5, RAID-6 или RAID-50. cold — медленные диски большого объема для долгосрочного хранения, рекомендуется использовать HDD диски в RAID-10, RAID-5, RAID-6 или RAID-50. Срок хранения на каждом уровне задается в конфигурации через GUI. Перемещение данных между дисками и очистка данных происходит автоматически в соответствии с настройками. Также предусмотрен механизм контроля за переполнением с целью защиты базы данных. Основной объем данных хранится в каталоге /var/lib/clickhouse. Временные данные (дампы IPFIX) хранятся в каталоге /var/qoestor/backend/dump. Для лучшей производительности важно (рекомендуется), чтобы эти каталоги находились на отдельном диске или массиве. См. Настройка дискового пространства. Для размещения ОС и ПО QoE Stor необходимо использовать 2 диска емкостью от 256ГБ, объединенные в RAID 1 (зеркало). Необходимо использовать аппаратный RAID контроллер. |
| QoE Cluster (Шардирование) | Лучше делать несколько узлов и объединять их в кластер: GUI умеет оптимизировать запросы таким образом, чтобы все узлы строили отчеты параллельно. IPFIX-балансировщик используется для равномерного распределения данных по узлам (roundrobin), тем самым сильно улучшая производительность системы. При выходе узла из строя, балансировщик автоматом будет лить данные на оставшиеся узлы. Общая рекомендация такая: как можно больше узлов и как можно меньше порции данных на каждом. Тогда у вас будет: 1. Высокая производительность 2. Хорошая отказоустойчивость 3. Масштабируемость (через добавление узлов в кластер) |
Советы по эксплуатации от Яндекс ClickHouse вы можете прочитать по ссылке https://clickhouse.yandex/docs/ru/operations/tips/.