Различия

Показаны различия между двумя версиями страницы.

--- dpi:dpi_components:qoestor:configuration:disc:start [2023/08/31 09:05] – [Настройка дискового пространства] elena.krasnobryzh
+++ dpi:dpi_components:qoestor:configuration:disc:start [Дата неизвестна] (текущий) – удалено - внешнее изменение (Дата неизвестна) 127.0.0.1
@@ Строка 1: / Строка 1: @@
-====== Настройка дискового пространства ======
-{{indexmenu_n>2}}
-В QoE Stor для хранения используется несколько папок:
-  * /var/qoestor/backend/dump – здесь хранятся временные данные, получаемые ресиверами. После загрузки в БД эти данные удаляются
-  * /var/lib/clickhouse/ - так называемый DEFAULT диск. Здесь хранится схема БД и данные (сырые и агрегированные логи).
-  * /var/lib/clickhouse-hot/ - так называемый HOT диск.
-  * /var/lib/clickhouse-cold/ - так называемый COLD диск.
-HOT и COLD диски используется, когда нужно удешевить систему хранения.
-DEFAULT должен быть супер быстрым (NVMe SSD, например), чтобы получать данные от DPI, сохранять их в БД в сыром логе и агрегировать (формировать агрегированный лог).
-На HOT диске можно хранить агрегированный лог за 1-2 недели. HOT диск должен быть так же SSD, чтобы быстро строить отчеты.
-На COLD диске можно хранить старые данные.  COLD может быть SATA HDD диском, т.к отчеты по старым данным строятся редко и данные можно хранить на медленном диске.
-Как физически разделить каталоги по дискам смотрите ниже, в разделе Настройка хранения на отдельном диске.
-===== Настройка хранения на отдельном диске =====
-По умолчанию все данные хранятся в разделе /var.
-Допустим, мы подключили отдельный диск к /storage.
-  - Работаем под root пользователем <code>sudo su</code>
-  - Останавливаем ресиверы и БД <code>fastor-stop
-fastor-db-stop</code>
-  - Создаем каталоги в разделе /storage <code>mkdir /storage/qoestor
-mkdir /storage/qoestor/clickhouse
-mkdir /storage/qoestor/clickhouse-hot
-mkdir /storage/qoestor/clickhouse-cold
-mkdir /storage/qoestor/dump
-</code>
-  - Копируем данные на новый диск <code>cp -r /var/lib/clickhouse/* /storage/qoestor/clickhouse
-cp -r /var/lib/clickhouse-hot/* /storage/qoestor/clickhouse-hot
-cp -r /var/lib/clickhouse-cold/* /storage/qoestor/clickhouse-cold
-cp -r /var/qoestor/backend/dump/* /storage/qoestor/dump
-</code>
-  - Меняем владельца папки /storage/qoestor/clickhouse <code>chown -R clickhouse:clickhouse /storage/qoestor/clickhouse
-chown -R clickhouse:clickhouse /storage/qoestor/clickhouse-hot
-chown -R clickhouse:clickhouse /storage/qoestor/clickhouse-cold
-</code>
-  - Удаляем старые каталоги <code>rm -rf /var/lib/clickhouse
-rm -rf /var/lib/clickhouse-hot
-rm -rf /var/lib/clickhouse-cold
-rm -rf /var/qoestor/backend/dump
-</code>
-  - Создаем симлинки <code>ln -s /storage/qoestor/clickhouse /var/lib/clickhouse
-ln -s /storage/qoestor/clickhouse-hot /var/lib/clickhouse-hot
-ln -s /storage/qoestor/clickhouse-cold /var/lib/clickhouse-cold
-ln -s /storage/qoestor/dump /var/qoestor/backend/dump
-</code>
-  - Проверяем линки <code>readlink -f /var/lib/clickhouse
-readlink -f /var/lib/clickhouse-hot
-readlink -f /var/lib/clickhouse-cold
-readlink -f /var/qoestor/backend/dump
-</code>
-  - Запускаем БД <code>fastor-db-restart</code>
-  - Запускаем ресиверы <code>fastor-restart</code>

Аккаунт

Настройки

Различия