Поиск проблемных абонентов

Абоненты должны платить и пользоваться услугами, это нормальное поведение. Если не пользуются (даже при своевременной оплате) - это показатель проблем. Статистика позволяет выявить активных и неактивных абонентов.

К сожалению, статистика не позволяет выявить абсолютно неактивных абонентов, у которых отсутствует связь с роутером (выдернут патчкорд, роутер выключен и т.д.). Чтобы выделить данную группу абонентов, нужно сравнивать статистистику с выгрузкой из биллинга.

Рекомендуется сегментировать абонентов на 3 группы по активности:

1. Нормальная.
2. Слабая (техническая).
3. Отсутствует.

Активность можно измерять:

1. По количеству сессий.
2. По количеству хостов.

Определить норму лучше после построения распределения по выгрузке, но обычно эти показатели измеряются в десятках в день, не менее 3-4 раз в неделю.

Фильтр можно настроить в GUI в разделе QoE Аналитика → Абоненты → Кликстрим

Если абоненты переходят из сегмента с нормальной активностью в сегменты со слабой активностью и остаются там более 3-х недель - это может говорить о проблемах.

Метод запроса в базу:
Появится позже

Абоненты интересуются предложениями конкурентов. Для этого они начинают регулярно посещать сайты конкурентов и агрегаторов. Поисковые запросы в кликстриме не видны, но можно отследить конечные URL.

Действия:

1. Сделать список сайтов конкурентов.
2. Сделать список сайтов-агрегаторов, если они есть в Вашем регионе. Примеры поисковых запросов: "найти интернет провайдера по адресу", "подключить интернет в [городе]".
3. Перейти в раздел QoE Аналитика → Абоненты → Кликстрим
4. Настроить новый фильтр запроса, внести туда эти списки.
   
   Пример фильтра запроса для графического интерфейса:

   match host (?i)(\W|^)(rt.ru|domru.ru.com)(\W|$)

5. Рекомендуется работать с абонентами, которые 3 и более раз в неделю посещают сайты из выгрузки. Для этого можно:
   1. Выгружать данные ежедневно в свою базу данных через API или напрямую из Click House QoE, уже в ней накладывать фильтры.
   2. Сделать триггер в графическом интерфейсе с заданными параметрами.

Пример запроса в базу:
Скачать скрипт здесь

Скрипт возвращает список абонентов за последние 24 часа, посещавшие указанные сайты конкурентов ЛЮБОЕ количество раз.

Запуск sh subs_search_for_competitors_sample.sh

Параметры в скрипте:
format="CSV" - формат вывода. По умолчанию CSV. Возможные форматы: https://clickhouse.com/docs/en/interfaces/formats/
periodSecs=24*3600 - период в секундах. По умолчанию 24 часа
hostsMatch="(?i)(\W|)(rt.ru|domru.ru.com)(\W|$)"- регулярное выражение для поиска по нескольким хостам. Сюда рекомендуется добавлять актуальных местных конкурентов.

Обычный пользователь вспоминает о существовании данных сервисов только при наличии проблем. Источником проблем могут быть:

• низкая скорость тарифа, абонент вышел на "полку"
• проблемы на сети оператора
• проблемы аплинка (включая нестабильную работу необходимого абоненту сервиса)
• слабый WiFi

Все эти проблемы можно выявить с помощью метрик статистики DPI или данных мониторинга сети.

Для получения выгрузки можно использовать готовый запрос, который учитывает пользование наиболее популярными сервисами. Если хотите добавить новый сервис - уточните в запросе.

https://www.speedtest.net/
internet.yandex.ru
https://2ip.ru/speed/
https://internetometer.ru/
https://speedtestt.ru/
https://rt-internet.ru/proverit-skorost
https://skoromer.ru/
https://www.bandwidthplace.com/

Рекомендуется работать с абонентами из выгрузки, которые 3 и более раз в неделю посещают сайты из выгрузки. Для этого можно:

• Выгружать данные ежедневно в свою базу данных через API или напрямую из Click House QoE, уже в ней накладывать фильтры.
• Сделать триггер в графическом интерфейсе с заданными параметрами.
• Точнее работают вместе с запросами по конкурентам

Пример фильтра запроса для графического интерфейса:

match host (?i)(\W|^)(speedtest|2ip.ru|fast.com|internetometer.ru|speedtestt.ru|rt-internet.ru|skoromer.ru/|www.bandwidthplace.com)(\W|$)

(?i)(\W|^)(speedtest|2ip|nperf|internetometer|bandwidthplace.com|test.byfly.by|skoromer.ru)(\W|$)

Пример запроса в базу:
Скачать скрипт здесь

Запуск sh subs_speedtest_sample.sh

Параметры в скрипте:
format="CSV" - формат вывода. По умолчанию CSV. Возможные форматы: https://clickhouse.com/docs/en/interfaces/formats/
periodSecs=24*3600 - период в секундах. По умолчанию 24 часа
hostsMatch="(?i)(\W|)(speedtest.net|internet.yandex.ru|2ip.ru|internetometer.ru|speedtestt.ru|rt-internet.ru|skoromer.ru| - регулярное выражение для поиска по нескольким хостам

Самая простая и изученная метрика DPI по проверке качества связи - RTT. DPI позволяет измерить RTT и поделить его по направлениям (к абоненту и от абонента) и уточнить по протоколам и устройствам при необходимости. Большая задержка в течение продолжительного времени “от абонента” скорее всего говорит о том, что абонент испытывает сложности с доступом к онлайновым сервисам - играм, видео, коммуникации. Как правило, задержка возникает из-за wifi-сети абонента, но может говорить и о перегрузке узлов сети.

Действия:

1. Перейти в раздел QoE Аналитика → Абоненты → Нетфлоу
2. Создать фильтр, где:
   • предлагается ограничить поиск по протоколу http/https, чтобы отсеять возможные особенности других протоколов при установке TCP соединения
   • указать среднюю скорость, чтобы делать выборку из абонентов, активно пользующихся интернет
   • указать нижний порог RTT от клиента

Рекомендуется работать с абонентами из выгрузки, у которых среднее (а еще лучше медианное) RTT больше 100 за 24 часа. Для этого можно:

1. Выгружать данные ежедневно в свою базу данных через API или напрямую из Click House QoE, уже в ней накладывать фильтры.
2. Сделать триггер в графическом интерфейсе с заданными параметрами.

При обработке важно учесть следующие факторы:

1. Стоит проверить географическое распределение “проблемной” выгрузки. “Кучность” как правило появляется из-за перегрузок сети или старого коммутатора, проблему можно устранить на стороне оператора. Бывает, что “плохой” район подключен по устаревшей технологии (DSL или радиодоступ), тогда плохой RTT уже “не баг, а фича”.
2. Абонент может не испытывать дискомфорт из-за задержки (и прямо говорит об этом если его спросить по телефону), например в случаях:
   • работают устройства IoT, может быть слабый сигнал у них
   • работает на устаревшем оборудовании и не ждет чудес
   • не пользуется онлайновыми сервисами
3. Проблемы в wifi сети могут возникать по причинам:
   • зашумленный WiFi диапазон 2.4 в многоквартирном доме
   • слабый роутер
   • сложная топология или большие размеры квартиры/дома
4. Иногда невозможно определить хост, куда обращался абонент с высоким RTT
   
   Такое может быть по трем причинам:
   • обращение по IP
   • не http протокол
   • не указан SNI
5. В дополнение к RTT можно использовать метрику %ретрансмитов при поиске проблемных абонентов. Если продолжительное время (>30 минут) наблюдается существенное превышение фонового значения по ретрансмитам (обычно 4-5%), это признак деградации услуги у абонента. Использовать ретрансмиты без RTT не рекомендуется, велика вероятность ложного срабатывания.

Пример запроса в базу:
Скачать скрипт

Параметры в скрипте:
format="CSV" - формат вывода. По умолчанию CSV. Возможные форматы: https://clickhouse.com/docs/en/interfaces/formats/
periodSecs=24*3600 - период в секундах. По умолчанию 24 часа
rttMore=100 - значение RTT. По умолчанию 100

1. Сегментировать абонентскую базу с выделением возможных причин неблагоприятной статистики:
   • устаревшая технология доступа
   • наличие IoT-устройств
   • слабые роутеры
2. Проверить качество услуг, используя возможные метрики из иных ИС:
   • мониторинг сети (особенно если есть много клиентов с одного узла)
   • запросы в ТП
   • нерегулярная оплата услуг

Для этого рекомендуется сделать отдельную БД “проблемных абонентов” и организовать в нее экспорт данных на регулярной основе из различных ИС. Важно, что набор показателей “проблемности” работает значительно эффективнее, чем

1. Провести опрос удовлетворенности:

• по телефону
• используя анкету через редирект DPI

1. Задействовать механизмы удержания (акции, скидки,замена оборудования и др.)

В случае наличия базы “проблемных абонентов” у оператора появляется новый измеряемый индикатор “здоровья”.