При необходимости вы можете самостоятельно без дополнительных инструментов сформировать собственные отчеты и выгрузить данные в любом формате CSV, JSON, TabSeparated.

Данные хранятся в 4 основных логах

• qoestor.fullflow – полный netflow лог, период хранения – 2 часа по умолчанию
• qoestor.clicksteam – полный clickstream лог, период хранения – 2 часа по умолчанию
• qoestor.fullflow_agg – предагрегированный netflow лог, период хранения - 14 дней по умолчанию
• qoestor.clicksteam_agg – предагрегированный clickstream лог, период хранения - 14 дней по умолчанию

Формат команды следущий

clickhouse-client --database=qoestor  --query="Ваш sql тут"

По умолчанию данные выгружаются в формате TabSeparated.

Пример. Клиент попросил лог соединений с определенным хостом в формате CSV

clickhouse-client --database=qoestor --query="select * from fullflow prewhere flow_start_date = '2018-10-04' where (source_ipv4 = '10.64.66.100' or destination_ipv4 = '10.64.66.100') and host = 'google.com' ORDER BY flow_start_time limit 10 format CSV"

Подробную информацию по SQL ClickHouse смотрите по ссылке https://clickhouse.com/docs/ru/sql-reference/statements/select

Выгрузка происходит с помощью скрипта fastor-report-cli

Пример работы:

1. Создать папку для хранения и редактирования sql-запросов:

   mkdir -p /tmp/reports_sql

2. Создать папку для хранения результатов (отчетов):

   mkdir -p /tmp/reports_results

3. Скопировать подготовленный шаблон sql-запроса в папку, созданную на шаге 1:

   cp /var/qoestor/backend/app_bash/export/reports_cli/top_hosts_ips.sql /tmp/reports_sql

   В примере скопирован запрос ТОП IP хостов — top_hosts_ips.sql

4. Отредактировать запрос: установить период, добавить фильтры
5. Выполнить запрос на всех узлах командой

   fastor-report-cli -r top_hosts_ips.sql -d /tmp/reports_results -w /tmp/reports_sql

   где

   • -w /tmp/reports_sql — рабочая директория с вашими запросами
   • -r top_hosts_ips.sql — ваш зарос
   • -d /tmp/reports_results — директория, где будут файл с отчетами
6. Если требуется отменить запрос:
   1. Нажать Ctrl-Z
   2. Посмотреть в GUI, не остался ли запрос в процессах: