Настройка дискового пространства

В QoE Stor для хранения используется несколько папок:

• /var/qoestor/backend/dump – здесь хранятся временные данные, получаемые ресиверами. После загрузки в БД эти данные удаляются
• /var/lib/clickhouse/ - так называемый DEFAULT диск. Здесь хранится схема БД и данные (сырые и агрегированные логи).
• /var/lib/clickhouse-hot/ - так называемый HOT диск.
• /var/lib/clickhouse-cold/ - так называемый COLD диск.

HOT и COLD диски используются, когда нужно удешевить систему хранения.

DEFAULT должен быть очень быстрым (например, NVMe SSD), чтобы получать данные от DPI, сохранять их в БД в сыром логе и агрегировать (формировать агрегированный лог).

На HOT диске можно хранить агрегированный лог за 1-2 недели. HOT диск должен быть так же SSD, чтобы быстро строить отчеты.

На COLD диске можно хранить старые данные. COLD может быть SATA HDD диском, т.к. отчеты по старым данным строятся редко и данные можно хранить на медленном диске.

Как физически разделить каталоги по дискам - см. ниже, в разделе Настройка хранения на отдельном диске.

По умолчанию все данные хранятся в разделе /var.

Допустим, подключили отдельный диск к /storage.

1. Работаем под root пользователем

   sudo su

2. Останавливаем ресиверы и БД

   fastor-stop
   fastor-db-stop

3. Создаем каталоги в разделе /storage

   mkdir /storage/qoestor
   mkdir /storage/qoestor/clickhouse
   mkdir /storage/qoestor/clickhouse-hot
   mkdir /storage/qoestor/clickhouse-cold
   mkdir /storage/qoestor/dump

4. Копируем данные на новый диск

   cp -r /var/lib/clickhouse/* /storage/qoestor/clickhouse
   cp -r /var/lib/clickhouse-hot/* /storage/qoestor/clickhouse-hot
   cp -r /var/lib/clickhouse-cold/* /storage/qoestor/clickhouse-cold
   cp -r /var/qoestor/backend/dump/* /storage/qoestor/dump

5. Меняем владельца папки /storage/qoestor/clickhouse

   chown -R clickhouse:clickhouse /storage/qoestor/clickhouse
   chown -R clickhouse:clickhouse /storage/qoestor/clickhouse-hot
   chown -R clickhouse:clickhouse /storage/qoestor/clickhouse-cold

6. Удаляем старые каталоги

   rm -rf /var/lib/clickhouse
   rm -rf /var/lib/clickhouse-hot
   rm -rf /var/lib/clickhouse-cold
   rm -rf /var/qoestor/backend/dump

7. Создаем симлинки

   ln -s /storage/qoestor/clickhouse /var/lib/clickhouse
   ln -s /storage/qoestor/clickhouse-hot /var/lib/clickhouse-hot
   ln -s /storage/qoestor/clickhouse-cold /var/lib/clickhouse-cold
   ln -s /storage/qoestor/dump /var/qoestor/backend/dump

8. Проверяем линки

   readlink -f /var/lib/clickhouse
   readlink -f /var/lib/clickhouse-hot
   readlink -f /var/lib/clickhouse-cold
   readlink -f /var/qoestor/backend/dump

9. Запускаем БД

   fastor-db-restart

10. Запускаем ресиверы

    fastor-restart