{{indexmenu_n>6}}
====== Экспорт данных ======

При необходимости вы можете самостоятельно без дополнительных  инструментов сформировать собственные отчеты и выгрузить данные в любом формате CSV, JSON, TabSeparated.

Данные хранятся в 4 основных логах
  * qoestor.fullflow – полный netflow лог, период хранения – 2 часа по умолчанию
  * qoestor.clicksteam – полный clickstream лог, период хранения – 2 часа по умолчанию
  * qoestor.fullflow_agg – предагрегированный netflow лог, период хранения - 14 дней по умолчанию 
  * qoestor.clicksteam_agg – предагрегированный clickstream лог, период хранения - 14 дней по умолчанию 

Формат команды следущий <code>clickhouse-client --database=qoestor  --query="Ваш sql тут"</code>

По умолчанию данные выгружаются в формате TabSeparated.

**Пример**. Клиент попросил лог соединений с определенным хостом в формате CSV

<code>clickhouse-client --database=qoestor --query="select * from fullflow prewhere flow_start_date = '2018-10-04' where (source_ipv4 = '10.64.66.100' or destination_ipv4 = '10.64.66.100') and host = 'google.com' ORDER BY flow_start_time limit 10 format CSV"</code>

Подробную информацию по SQL ClickHouse смотрите по ссылке [[https://clickhouse.com/docs/ru/sql-reference/statements/select]]


=====Выгрузка больших отчетов QoE через CLI=====
Выгрузка происходит с помощью скрипта ''fastor-report-cli''

<note important>Запускать скрипт и выполнять следующие команды необходимо на мастер-сервере QoE.</note>

Пример работы:
  - Создать папку для хранения и редактирования sql-запросов: <code bash>mkdir -p /tmp/reports_sql</code>
  - Создать папку для хранения результатов (отчетов): <code bash>mkdir -p /tmp/reports_results</code>
  - Скопировать подготовленный шаблон sql-запроса в папку, созданную на шаге 1: <code bash>cp /var/qoestor/backend/app_bash/export/reports_cli/top_hosts_ips.sql /tmp/reports_sql</code> В примере скопирован запрос ТОП IP хостов — ''top_hosts_ips.sql''
  - Отредактировать запрос: установить период, добавить фильтры
  - Выполнить запрос на всех узлах командой <code bash>fastor-report-cli -r top_hosts_ips.sql -d /tmp/reports_results -w /tmp/reports_sql</code> где 
    * ''-w /tmp/reports_sql'' — рабочая директория с вашими запросами
    * ''-r top_hosts_ips.sql'' — ваш зарос
    * ''-d /tmp/reports_results'' — директория, где будут файл с отчетами
  - Если требуется отменить запрос:
    - Нажать Ctrl-Z
    - Посмотреть в GUI, не остался ли запрос в процессах:\\ {{:implementation:use_case:big_reports_gui.png?nolink&1000|}}

<note important>Внимание! Для данных запросов не устанавливается лимит по времени. Т.е. если вы не убедились, что запрос завершен, он может выполняться вечно.</note>