Настройка дискового пространства [Документация VAS Experts]

Настройка дискового пространства

В QoE Stor для хранения используется несколько папок:

  • /var/qoestor/backend/dump – здесь хранятся временные данные, получаемые ресиверами. После загрузки в БД эти данные удаляются
  • /var/lib/clickhouse/ - так называемый DEFAULT диск. Здесь хранится схема БД и данные (сырые и агрегированные логи).
  • /var/lib/clickhouse-hot/ - так называемый HOT диск.
  • /var/lib/clickhouse-cold/ - так называемый COLD диск.

HOT и COLD диски используется, когда нужно удешевить систему хранения.

DEFAULT должен быть супер быстрым (NVMe SSD, например), чтобы получать данные от DPI, сохранять их в БД в сыром логе и агрегировать (формировать агрегированный лог).

На HOT диске можно хранить агрегированный лог за 1-2 недели. HOT диск должен быть так же SSD, чтобы быстро строить отчеты.

На COLD диске можно хранить старые данные. COLD может быть SATA HDD диском, т.к отчеты по старым данным строятся редко и данные можно хранить на медленном диске.

Как физически разделить каталоги по дискам смотрите ниже, в разделе Настройка хранения на отдельном диске.

Настройка хранения на отдельном диске

По умолчанию все данные хранятся в разделе /var.

Допустим, мы подключили отдельный диск к /storage.

  1. Работаем под root пользователем
    sudo su
  2. Останавливаем ресиверы и БД
    fastor-stop
    fastor-db-stop
  3. Создаем каталоги в разделе /storage
    mkdir /storage/qoestor
    mkdir /storage/qoestor/clickhouse
    mkdir /storage/qoestor/clickhouse-hot
    mkdir /storage/qoestor/clickhouse-cold
    mkdir /storage/qoestor/dump
  4. Копируем данные на новый диск
    cp -r /var/lib/clickhouse/* /storage/qoestor/clickhouse
    cp -r /var/lib/clickhouse-hot/* /storage/qoestor/clickhouse-hot
    cp -r /var/lib/clickhouse-cold/* /storage/qoestor/clickhouse-cold
    cp -r /var/qoestor/backend/dump/* /storage/qoestor/dump
  5. Меняем владельца папки /storage/qoestor/clickhouse
    chown -R clickhouse:clickhouse /storage/qoestor/clickhouse
    chown -R clickhouse:clickhouse /storage/qoestor/clickhouse-hot
    chown -R clickhouse:clickhouse /storage/qoestor/clickhouse-cold
  6. Удаляем старые каталоги
    rm -rf /var/lib/clickhouse
    rm -rf /var/lib/clickhouse-hot
    rm -rf /var/lib/clickhouse-cold
    rm -rf /var/qoestor/backend/dump
  7. Создаем симлинки
    ln -s /storage/qoestor/clickhouse /var/lib/clickhouse
    ln -s /storage/qoestor/clickhouse-hot /var/lib/clickhouse-hot
    ln -s /storage/qoestor/clickhouse-cold /var/lib/clickhouse-cold
    ln -s /storage/qoestor/dump /var/qoestor/backend/dump
  8. Проверяем линки
    readlink -f /var/lib/clickhouse
    readlink -f /var/lib/clickhouse-hot
    readlink -f /var/lib/clickhouse-cold
    readlink -f /var/qoestor/backend/dump
  9. Запускаем БД
    fastor-db-restart
  10. Запускаем ресиверы
    fastor-restart