Переагрегация устаревших агрегированных логов fullflow [Документация VAS Experts]

Это старая версия документа!


3 Переагрегация устаревших агрегированных логов fullflow

Назначение

Агрегация лога fullflow происходит путем группировки данных по времени и другим ключевым полям. По умолчанию период агрегации - 15 минут. Его можно изменить в настройках.

Но, иногда нужно менять период агрегации в зависимости от того насколько данные устарели. Например, первую неделю нам нужен период агрегации 5 минут, чтобы получать более точные во времени сведения, когда и какие запросы выполнял абонент, к примеру. Далее данные устаревают и такая точность уже не нужна, при этом точные данные занимают больше места на диске.

Был реализован механизм, с помощью которого можно разбить агрегации на 3 периода. По умолчанию это так:

  1. Первую неделю храним данные с группировкой 15 минут
  2. Первый месяц начиная со второй недели храним данные с группировкой 30 мин
  3. Начиная со второго месяца храним данные с группировкой 1 час

Функциональность реализована в dpiui2 2.31.2 и QoE Stor 1.19.1