Экспорт данных

При необходимости вы можете самостоятельно без дополнительных инструментов сформировать собственные отчеты и выгрузить данные в любом формате CSV, JSON, TabSeparated.

Данные хранятся в 4 основных логах

qoestor.fullflow – полный netflow лог, период хранения – 2 часа по умолчанию
qoestor.clicksteam – полный clickstream лог, период хранения – 2 часа по умолчанию
qoestor.fullflow_agg – предагрегированный netflow лог, период хранения - 14 дней по умолчанию
qoestor.clicksteam_agg – предагрегированный clickstream лог, период хранения - 14 дней по умолчанию

Формат команды следущий

clickhouse-client --database=qoestor  --query="Ваш sql тут"

По умолчанию данные выгружаются в формате TabSeparated.

Пример. Клиент попросил лог соединений с определенным хостом в формате CSV

clickhouse-client --database=qoestor --query="select * from fullflow prewhere flow_start_date = '2018-10-04' where (source_ipv4 = '10.64.66.100' or destination_ipv4 = '10.64.66.100') and host = 'google.com' ORDER BY flow_start_time limit 10 format CSV"

Подробную информацию по SQL ClickHouse смотрите по ссылке https://clickhouse.com/docs/ru/sql-reference/statements/select

Выгрузка больших отчетов QoE через CLI

Выгрузка происходит с помощью скрипта fastor-report-cli

Запускать скрипт и выполнять следующие команды необходимо на мастер-сервере QoE.

Пример работы:

Создать папку для хранения и редактирования sql-запросов:
```
mkdir -p /tmp/reports_sql
```
Создать папку для хранения результатов (отчетов):
```
mkdir -p /tmp/reports_results
```
Скопировать подготовленный шаблон sql-запроса в папку, созданную на шаге 1:
```
cp /var/qoestor/backend/app_bash/export/reports_cli/top_hosts_ips.sql /tmp/reports_sql
```
В примере скопирован запрос ТОП IP хостов — top_hosts_ips.sql
Отредактировать запрос: установить период, добавить фильтры
Выполнить запрос на всех узлах командой
```
fastor-report-cli -r top_hosts_ips.sql -d /tmp/reports_results -w /tmp/reports_sql
```
где
- -w /tmp/reports_sql — рабочая директория с вашими запросами
- -r top_hosts_ips.sql — ваш зарос
- -d /tmp/reports_results — директория, где будут файл с отчетами
Если требуется отменить запрос:
1. Нажать Ctrl-Z
2. Посмотреть в GUI, не остался ли запрос в процессах:

Внимание! Для данных запросов не устанавливается лимит по времени. Т.е. если вы не убедились, что запрос завершен, он может выполняться вечно.