Экспорт данных

При необходимости вы можете самостоятельно без дополнительных инструментов сформировать собственные отчеты и выгрузить данные в любом формате CSV, JSON, TabSeparated.

Данные хранятся в 4 основных логах

qoestor.fullflow – полный netflow лог, период хранения – 2 часа по умолчанию

qoestor.clicksteam – полный clickstream лог, период хранения – 2 часа по умолчанию

qoestor.fullflow_agg – предагрегированный netflow лог, период хранения - 14 дней по умолчанию

qoestor.clicksteam_agg – предагрегированный clickstream лог, период хранения - 14 дней по умолчанию

Формат команды следущий

clickhouse-client --database=qoestor --query="Ваш sql тут"

По умолчанию данные выгружаются в формате TabSeparated.

Пример. Клиент попросил лог соединений с определенным хостом в формате CSV

clickhouse-client --database=qoestor --query="select * from fullflow prewhere flow_start_date = '2018-10-04' where (source_ipv4 = '10.64.66.100' or destination_ipv4 = '10.64.66.100') and host = 'google.com' ORDER BY flow_start_time limit 10 format CSV"

Подробную информацию по SQL ClickHouse смотрите по ссылке https://clickhouse.com/docs/ru/sql-reference/statements/select

Выгрузка больших отчетов QoE через CLI

Выгрузка происходит с помощью скрипта fastor-report-cli

Запускать скрипт и выполнять следующие команды необходимо на мастер-сервере QoE.

Пример работы:

Создать папку для хранения и редактирования sql-запросов:

mkdir -p /tmp/reports_sql

Создать папку для хранения результатов (отчетов):

mkdir -p /tmp/reports_results

Скопировать подготовленный шаблон sql-запроса в папку, созданную на шаге 1:

cp /var/qoestor/backend/app_bash/export/reports_cli/top_hosts_ips.sql /tmp/reports_sql

В примере скопирован запрос ТОП IP хостов — top_hosts_ips.sql

Отредактировать запрос: установить период, добавить фильтры

Выполнить запрос на всех узлах командой

fastor-report-cli -r top_hosts_ips.sql -d /tmp/reports_results -w /tmp/reports_sql

где

-w /tmp/reports_sql — рабочая директория с вашими запросами

-r top_hosts_ips.sql — ваш зарос

-d /tmp/reports_results — директория, где будут файл с отчетами

Если требуется отменить запрос:

Нажать Ctrl-Z

Посмотреть в GUI, не остался ли запрос в процессах:

Внимание! Для данных запросов не устанавливается лимит по времени. Т.е. если вы не убедились, что запрос завершен, он может выполняться вечно.