Настройка дискового пространства
В QoE Stor для хранения используется несколько папок:
- /var/qoestor/backend/dump – здесь хранятся временные данные, получаемые ресиверами. После загрузки в БД эти данные удаляются
- /var/lib/clickhouse/ - так называемый DEFAULT диск. Здесь хранится схема БД и данные (сырые и агрегированные логи).
- /var/lib/clickhouse-hot/ - так называемый HOT диск.
- /var/lib/clickhouse-cold/ - так называемый COLD диск.
HOT и COLD диски используется, когда нужно удешевить систему хранения.
DEFAULT должен быть супер быстрым (NVMe SSD, например), чтобы получать данные от DPI, сохранять их в БД в сыром логе и агрегировать (формировать агрегированный лог).
На HOT диске можно хранить агрегированный лог за 1-2 недели. HOT диск должен быть так же SSD, чтобы быстро строить отчеты.
На COLD диске можно хранить старые данные. COLD может быть SATA HDD диском, т.к отчеты по старым данным строятся редко и данные можно хранить на медленном диске.
Как физически разделить каталоги по дискам смотрите ниже, в разделе Настройка хранения на отдельном диске.
Настройка хранения на отдельном диске
По умолчанию все данные хранятся в разделе /var.
Допустим, мы подключили отдельный диск к /storage.
- Работаем под root пользователем
sudo su
- Останавливаем ресиверы и БД
fastor-stop fastor-db-stop
- Создаем каталоги в разделе /storage
mkdir /storage/qoestor mkdir /storage/qoestor/clickhouse mkdir /storage/qoestor/clickhouse-hot mkdir /storage/qoestor/clickhouse-cold mkdir /storage/qoestor/dump
- Копируем данные на новый диск
cp -r /var/lib/clickhouse/* /storage/qoestor/clickhouse cp -r /var/lib/clickhouse-hot/* /storage/qoestor/clickhouse-hot cp -r /var/lib/clickhouse-cold/* /storage/qoestor/clickhouse-cold cp -r /var/qoestor/backend/dump/* /storage/qoestor/dump
- Меняем владельца папки /storage/qoestor/clickhouse
chown -R clickhouse:clickhouse /storage/qoestor/clickhouse chown -R clickhouse:clickhouse /storage/qoestor/clickhouse-hot chown -R clickhouse:clickhouse /storage/qoestor/clickhouse-cold
- Удаляем старые каталоги
rm -rf /var/lib/clickhouse rm -rf /var/lib/clickhouse-hot rm -rf /var/lib/clickhouse-cold rm -rf /var/qoestor/backend/dump
- Создаем симлинки
ln -s /storage/qoestor/clickhouse /var/lib/clickhouse ln -s /storage/qoestor/clickhouse-hot /var/lib/clickhouse-hot ln -s /storage/qoestor/clickhouse-cold /var/lib/clickhouse-cold ln -s /storage/qoestor/dump /var/qoestor/backend/dump
- Проверяем линки
readlink -f /var/lib/clickhouse readlink -f /var/lib/clickhouse-hot readlink -f /var/lib/clickhouse-cold readlink -f /var/qoestor/backend/dump
- Запускаем БД
fastor-db-restart
- Запускаем ресиверы
fastor-restart