Настройка UDR (Usage Detail Record)

UDR (Usage Detail Record) — агрегированные записи о том, сколько и какого трафика передал абонент за интервал времени, обогащенные данными его абонентской сессии: логин, IP-адрес, сервер доступа (NAS), а для мобильной сети — IMSI, IMEI, тип радиодоступа, местоположение и др.

UDR позволяют связать сетевую активность с конкретным абонентом и передавать полученные данные во внешние системы. В зависимости от источника сетевых данных формируются UDR двух видов:

• UDR по сессиям (SSL UDR) — на основе данных Fullflow;
• UDR по HTTP-запросам (HTTP UDR) — на основе данных Clickstream о HTTP- и HTTPS-запросах.

Формирование UDR — необязательная функция, по умолчанию выключена.

Данные, поступающие с AAA-ресиверов, записываются в сырую таблицу aaaflow, она создается автоматически при настройке AAA-ресиверов. В процессе вставки данных с ресиверов в aaaflow дополнительно формируются следующие таблицы:

• aaa_ip_login_bind — используется как справочник для связи и подмены поля Login в таблицах fullflow и clickstream.
• aaa_acc_state — состояние абонентских сессий. Из нее в UDR подставляются данные абонента.
• aaa_udr_fullflow — таблица UDR по сессиям. Необходима для формирования и экспорта SSL UDR (а также других типов UDR в зависимости от применяемых фильтров).
• aaa_udr_clickstream — таблица UDR по HTTP-запросам. Необходима для формирования и экспорта HTTP UDR, в том числе по запросам HTTPS.

Как формируются записи:

• UDR наполняются автоматически в момент загрузки данных Fullflow и Clickstream, отдельного процесса расчета нет.
• Данные абонента подставляются из таблицы aaa_acc_state по паре «логин, IP-адрес абонента».
• Время каждой записи округляется до интервала UDR — по умолчанию 15 минут.
• UDR хранятся по часовым партициям. Для чтения со всех узлов кластера используются таблицы aaa_udr_fullflow_dist и aaa_udr_clickstream_dist.
• Наполнение можно ограничить условием отбора, например только определенные протоколы или абоненты.

Накопленные UDR выгружаются в файлы за один интервал, сжимаются (gzip) и помещаются в директории /var/qoestor/backend/dump/udr_fullflow/success/ и /var/qoestor/backend/dump/udr_clickstream/success/. Выгрузку запускает администратор вручную или по расписанию.

При заданном параметре UDR_SCP файлы дополнительно отправляются по SCP в заданную директорию на удаленном сервере. Файлы, которые не удалось отправить, переносятся в подкаталог error/.

Параметры UDR задаются в разделе Администратор → Конфигурация QoE Stor → Настройки журнала AAA или в файле /var/qoestor/backend/.env. При редактировании файла вручную изменения применяются по-разному:

• Наполнение: FILL_*, UDR_FULLFLOW_TIME_INTERVAL, UDR_CLICKSTREAM_TIME_INTERVAL — выполнить fastor-reload-options
• Схема: UDR_FULLFLOW_CLICKSTREAM_JOIN, UDR_FULLFLOW_FILTER, UDR_CLICKSTREAM_FILTER, FILL_UDR_FULLFLOW_DIC_LIFETIME, FILL_UDR_FULLFLOW_DIC_LIMIT — выполнить fastor-db-aaa-scheme
• Выгрузка: остальные параметры UDR_* — ничего, параметры читаются при каждом запуске выгрузки

Полный перечень параметров — в разделе Описание параметров.

Для функций формирования и экспорта UDR нужна специальная схема базы данных. Она устанавливается командой:

fastor-db-aaa-scheme

Команду нужно выполнять повторно после каждого изменения параметров схемы: режима получения объемов, условий отбора или параметров справочника.

Добавить AAA ресиверы: в разделе Администратор → Конфигурация QoE Stor создать ресивер с типом "AAA flow". Подробнее о создании ресиверов

В разделе Администратор → Конфигурация QoE Stor → Настройки журнала AAA задать настройки AAA-логов.

Параметры FILL_IP_LOGIN_BINDING_FROM_AAA и AAA_REPLACE_LOGIN_IP_LOGIN_BIND необходимо включать только если требуется привязка IP к Login на стороне QoE Stor.

Для формирования UDR должны быть включены:

• FILL_ACC_STATE_FROM_AAA — всегда;
• FILL_UDR_FULLFLOW — для UDR по сессиям, а также для UDR по HTTP-запросам с объемами трафика (режимы 1 и 2 параметра UDR_FULLFLOW_CLICKSTREAM_JOIN);
• FILL_UDR_CLICKSTREAM — для UDR по HTTP-запросам. Если нужны только UDR по сессиям, параметр не включайте.

Объем трафика, длительность и протокол для UDR по HTTP-запросам берутся из UDR по сессиям. Способ задается параметром UDR_FULLFLOW_CLICKSTREAM_JOIN:

• 0 (по умолчанию) — объем, длительность и протокол не заполняются; время берется из времени запроса. Выбирать, когда нужны только сами запросы
• 1 — данные берутся прямым соединением с UDR по сессиям. Выбирать, когда нужны объемы, UDR по сессиям включены
• 2 — данные берутся из справочника, в который помещаются UDR по сессиям за текущий и предыдущий интервал. Выбирать, когда нужны объемы; обязательно задать размер и период обновления справочника

Для режимов 1 и 2 должен быть включен FILL_UDR_FULLFLOW. Для режима 2 дополнительно включается FILL_UDR_FULLFLOW_DIC и задаются FILL_UDR_FULLFLOW_DIC_LIMIT и FILL_UDR_FULLFLOW_DIC_LIFETIME: при значениях по умолчанию (0) справочник остается пустым.

Пример настройки режима 2:

UDR_FULLFLOW_CLICKSTREAM_JOIN=2
FILL_UDR_FULLFLOW_DIC=1
FILL_UDR_FULLFLOW_DIC_LIFETIME=60
FILL_UDR_FULLFLOW_DIC_LIMIT=5000000

Значения размера и периода обновления справочника в примере условные — они подбираются под объем трафика и память узла.

После изменения режима выполните fastor-db-aaa-scheme (см. Схема БД).

Инструкция ниже актуальна, только если нужен экспорт UDR

В разделе Администратор → Конфигурация QoE Stor → Настройки журнала AAA настроить связь QoE Stor c сервером хранения UDR, используя SSH-ключ.

1. Указать SCP сервер в параметре UDR_SCP
2. Указать порт в параметре UDR_SCP_PORT
3. Указать директорию на сервере в параметре UDR_SCP_DIR
4. Установить формат экспорта в параметрах UDR_FULLFLOW_FORMAT и UDR_CLICKSTREAM_FORMAT

Файлы отправляются командой scp без запроса пароля, поэтому для пользователя, от имени которого запускается выгрузка, должен быть настроен вход на удаленный сервер по SSH-ключу. Проверить доступ:

ssh -p 22 udr@192.0.2.20 "ls /data/udr/"

Если отправка на удаленный сервер не нужна, не задавайте UDR_SCP — файлы будут оставаться в подкаталоге success/ на сервере QoE Stor.

Установка пакета расписание выгрузки не создает. Настроить расписание экспорта UDR в crontab пользователя root на сервере QoE Stor.

1. Выполнить crontab -e и добавить две записи:

   */15 * * * * sh /var/qoestor/backend/app_bash/aaa_udr/make_udr_fullflow.sh > /dev/null 2>&1
   */15 * * * * sh /var/qoestor/backend/app_bash/aaa_udr/make_udr_clickstream.sh > /dev/null 2>&1

2. В разделе Администратор → Конфигурация QoE Stor → Настройки журнала AAA настроить выгрузку данных:
   1. Задать интервал агрегации: период, до которого округляется время записей UDR. По умолчанию: 15 минут. См. UDR_FULLFLOW_TIME_INTERVAL и UDR_CLICKSTREAM_TIME_INTERVAL. Рекомендуется задавать оба интервала одинаковыми.
   2. Задать временной диапазон: определяет начало и конец периода для экспорта данных. См. UDR_FULLFLOW_PERIOD_FROM → UDR_FULLFLOW_PERIOD_TO и UDR_CLICKSTREAM_PERIOD_FROM → UDR_CLICKSTREAM_PERIOD_TO

Период запуска в crontab должен совпадать с интервалом UDR: при настройках по умолчанию каждый запуск выгружает один предыдущий завершенный интервал. Если интервал изменен, измените и период в crontab.

В случае если UDR файл не был создан или был сгенерирован с ошибкой или в других подобных ситуациях, есть возможность создания UDR файла в ручном режиме.

Файлы генерируются из таблиц aaa_udr_fullflow и aaa_udr_clickstream, поэтому сгенерировать UDR можно только за период, который еще хранится в этих таблицах (см. Хранение).

Скрипт создания UDR можно запустить вручную. Без параметров выгружается предыдущий завершенный интервал, произвольный период задается ключами --from и --to:

• Для UDR Clickstream:

  sh /var/qoestor/backend/app_bash/aaa_udr/make_udr_clickstream.sh --from '2025-11-19 14:30:00' --to '2025-11-19 14:45:00'

• Для UDR Fullflow:

  sh /var/qoestor/backend/app_bash/aaa_udr/make_udr_fullflow.sh --from '2025-11-19 14:45:00' --to '2025-11-19 15:00:00'

Скрипт ничего не выводит в консоль, результат записывается в журнал (см. Проверка и просмотр UDR).

Генерировать UDR можно только блоками, равными интервалу UDR (по умолчанию 15 минут), например:

• 10:00 – 10:15;
• 10:15 – 10:30;
• 10:30 – 10:45, и т.д.

Файл будет помещен в ту же папку, где хранятся автоматически сгенерированные UDR:

• /var/qoestor/backend/dump/udr_clickstream/success/ — для UDR Clickstream;
• /var/qoestor/backend/dump/udr_fullflow/success/ — для UDR Fullflow.

Файл будет назван по времени начала интервала в формате YYYYMMDDHHMMSS: SSL_<начало>.dump.gz для UDR Fullflow и HTTP_<начало>.dump.gz для UDR Clickstream. Например, для периода с 19.11.2025 14:45:00 по 19.11.2025 15:00:00 файл Fullflow UDR будет называться SSL_20251119144500.dump.gz.

Ограничить хранение можно двумя параметрами:

• QOESTOR_AAA_MAIN_LOG_PARTITIONS_LIFE_TIME_HOUR — задает время хранения сырого AAA-лога в часах. По умолчанию: 2 часа.
• QOESTOR_AAA_UDR_LOG_PARTITIONS_LIFE_TIME_HOUR — задает время хранения агрегированных UDR логов в часах. По умолчанию: 2 часа.

Файлы в каталогах success/ и error/ автоматически не удаляются — следите за свободным местом и настройте их очистку.

После включения наполнения дождитесь очередной загрузки данных (по умолчанию раз в 10 минут) и выполните:

clickhouse-client --query "select udr_time, count() from qoestor.aaa_udr_fullflow where udr_time > now() - 3600 group by udr_time order by udr_time"
clickhouse-client --query "select udr_time, count() from qoestor.aaa_udr_clickstream where udr_time > now() - 3600 group by udr_time order by udr_time"

Должны появиться строки за последние интервалы. Если их нет, проверьте, что поступают события AAA и данные Fullflow и Clickstream.

tail -n 20 /var/qoestor/backend/logs/udr_fullflow.log
tail -n 20 /var/qoestor/backend/logs/udr_clickstream.log

Признаки успешной выгрузки — строки Dump made …, Dump gzip made … и Dump was sended to … (или Dump … to …/success/, если UDR_SCP не задан). Строки с уровнем ERROR означают сбой запроса или сжатия.

Каталог error/ должен быть пуст: в него попадают файлы, которые не удалось отправить на удаленный сервер. После устранения причины их можно отправить вручную.

Для просмотра UDR файлов необходимо перейти в директорию с нужным типом UDR на сервере QoE Stor:

cd /var/qoestor/backend/dump/udr_clickstream/success/

Просмотр осуществляется при помощи zcat, zgrep, zless и других утилит для работы со сжатыми файлами:

zcat HTTP_20260205150000.dump.gz

где HTTP_20260205150000.dump.gz — название UDR файла, время начала интервала в формате YYYYMMDDHHMMSS.

Вывод команды:

В данном примере в качестве делимитера (разделителя) используется символ |. Делимитер можно поменять в настройках — подробнее про этот параметр в таблице Описание параметров

[vasexpertsmnt@qoe02 success]$ zgrep 11223344550 HTTP_2026020515*
HTTP_20260205150000.dump.gz:|dpi02|11223344550||speedtest.tele2.net/10MB.zip|11198323|300628|117|GET|482129275|10.20.30.40|PGW-01-431|random-apn|192.168.111.123|6||10.0.2.112|speedtest.tele2.net|123456789012345|200|20260205151435|200|200|Mozilla/5.0 (iPhone CPU iPhone OS 26_2_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) CriOS/144.0.7559.95 Mobile/15E148 Safari/604.1|9876543212345678|11111|http://speedtest.tele2.net/|application/zip|||

Одна запись формируется на сочетание «абонент, IP-адрес абонента, IP-адрес сервера, хост» за интервал UDR.

Объемы трафика и длительность заполняются, только если параметр UDR_FULLFLOW_CLICKSTREAM_JOIN равен 1 или 2 (см. Объемы трафика в UDR по HTTP-запросам).

При UDR_CLICKSTREAM_TPL=1 UDR по HTTP-запросам формируются в компактном составе:

• время начала и конца;
• MSISDN, IMSI, IMEI;
• протокол;
• IP-адрес и порт хоста;
• сетевой протокол;
• тип радиодоступа (RAT Type);
• объемы трафика;
• APN;
• длительность;
• IP-адрес и порт абонента;
• SGSN IP;
• местоположение абонента (ULI);
• Request Domain;
• Dest.

По умолчанию UDR файлы генерируются по шаблонам, указанным выше. Дополнительные поля можно добавить по запросу в техническую поддержку.