Настройка дискового пространства

В QoE Stor для хранения используется несколько папок:

/var/qoestor/backend/dump – здесь хранятся временные данные, получаемые ресиверами. После загрузки в БД эти данные удаляются

/var/lib/clickhouse/ - так называемый DEFAULT диск. Здесь хранится схема БД и данные (сырые и агрегированные логи).

/var/lib/clickhouse-hot/ - так называемый HOT диск.

/var/lib/clickhouse-cold/ - так называемый COLD диск.

HOT и COLD диски используются, когда нужно удешевить систему хранения.

DEFAULT должен быть очень быстрым (например, NVMe SSD), чтобы получать данные от DPI, сохранять их в БД в сыром логе и агрегировать (формировать агрегированный лог).

На HOT диске можно хранить агрегированный лог за 1-2 недели. HOT диск должен быть так же SSD, чтобы быстро строить отчеты.

На COLD диске можно хранить старые данные. COLD может быть SATA HDD диском, т.к. отчеты по старым данным строятся редко и данные можно хранить на медленном диске.

Как физически разделить каталоги по дискам - см. ниже, в разделе Настройка хранения на отдельном диске.

Настройка хранения на отдельном диске

По умолчанию все данные хранятся в разделе /var.

Допустим, подключили отдельный диск к /storage.

Работаем под root пользователем

sudo su

Останавливаем ресиверы и БД

fastor-stop
fastor-db-stop

Создаем каталоги в разделе /storage

mkdir /storage/qoestor
mkdir /storage/qoestor/clickhouse
mkdir /storage/qoestor/clickhouse-hot
mkdir /storage/qoestor/clickhouse-cold
mkdir /storage/qoestor/dump

Копируем данные на новый диск

cp -r /var/lib/clickhouse/* /storage/qoestor/clickhouse
cp -r /var/lib/clickhouse-hot/* /storage/qoestor/clickhouse-hot
cp -r /var/lib/clickhouse-cold/* /storage/qoestor/clickhouse-cold
cp -r /var/qoestor/backend/dump/* /storage/qoestor/dump

Меняем владельца папки /storage/qoestor/clickhouse

chown -R clickhouse:clickhouse /storage/qoestor/clickhouse
chown -R clickhouse:clickhouse /storage/qoestor/clickhouse-hot
chown -R clickhouse:clickhouse /storage/qoestor/clickhouse-cold

Удаляем старые каталоги

rm -rf /var/lib/clickhouse
rm -rf /var/lib/clickhouse-hot
rm -rf /var/lib/clickhouse-cold
rm -rf /var/qoestor/backend/dump

Создаем симлинки

ln -s /storage/qoestor/clickhouse /var/lib/clickhouse
ln -s /storage/qoestor/clickhouse-hot /var/lib/clickhouse-hot
ln -s /storage/qoestor/clickhouse-cold /var/lib/clickhouse-cold
ln -s /storage/qoestor/dump /var/qoestor/backend/dump

Проверяем линки

readlink -f /var/lib/clickhouse
readlink -f /var/lib/clickhouse-hot
readlink -f /var/lib/clickhouse-cold
readlink -f /var/qoestor/backend/dump

Запускаем БД

fastor-db-restart

Запускаем ресиверы

fastor-restart