Поиск проблемных абонентов [Документация VAS Experts]

Различия

Показаны различия между двумя версиями страницы.

Ссылка на это сравнение

Следующая версия
Предыдущая версия
dpi:qoe_analytics:cases:queries_from_database:problematic_subscribers [2025/08/12 11:42] – создано elena.krasnobryzhdpi:qoe_analytics:cases:queries_from_database:problematic_subscribers [2025/08/13 15:17] (текущий) – [Ухудшение качества интернета] elena.krasnobryzh
Строка 18: Строка 18:
 Фильтр можно настроить в GUI в разделе QoE Аналитика → Абоненты → Кликстрим Фильтр можно настроить в GUI в разделе QoE Аналитика → Абоненты → Кликстрим
  
-{{1}}\\ +{{:dpi:qoe_analytics:cases:queries_from_database:problematic_subscribers_1.png?nolink&500|}} 
-{{2}}+ 
 +{{:dpi:qoe_analytics:cases:queries_from_database:problematic_subscribers_2.png?nolink&700|}}
  
 Если абоненты переходят из сегмента с нормальной активностью в сегменты со слабой активностью и остаются там более 3-х недель - это может говорить о проблемах. Если абоненты переходят из сегмента с нормальной активностью в сегменты со слабой активностью и остаются там более 3-х недель - это может говорить о проблемах.
Строка 25: Строка 26:
 <wrap hi>Метод запроса в базу:\\ <wrap hi>Метод запроса в базу:\\
 Появится позже</wrap> Появится позже</wrap>
 +
 +=====Интерес к конкурентам=====
 +Абоненты интересуются предложениями конкурентов. Для этого они начинают регулярно посещать сайты конкурентов и агрегаторов. Поисковые запросы в кликстриме не видны, но можно отследить конечные URL.
 +
 +Действия:
 +  - Сделать список сайтов конкурентов.
 +  - Сделать список сайтов-агрегаторов, если они есть в Вашем регионе. Примеры поисковых запросов: "найти интернет провайдера по адресу", "подключить интернет в [городе]".
 +  - Перейти в раздел QoE Аналитика → Абоненты → Кликстрим
 +  - Настроить новый фильтр запроса, внести туда эти списки.\\ {{:dpi:qoe_analytics:cases:queries_from_database:problematic_subscribers_1.png?nolink&500|}}\\ Пример фильтра запроса для графического интерфейса: <code>match host (?i)(\W|^)(rt.ru|domru.ru.com)(\W|$)</code>
 +  - Рекомендуется работать с абонентами, которые 3 и более раз в неделю посещают сайты из выгрузки. Для этого можно:
 +    - Выгружать данные ежедневно в свою базу данных через API или напрямую из Click House QoE, уже в ней накладывать фильтры.
 +    - Сделать триггер в графическом интерфейсе с заданными параметрами.
 + 
 +Пример запроса в базу:\\
 +{{ :dpi:qoe_analytics:cases:queries_from_database:subs_search_for_competitors_sample.sh |Скачать скрипт здесь}}
 +
 +Скрипт возвращает список абонентов за последние 24 часа, посещавшие указанные сайты конкурентов ЛЮБОЕ количество раз.
 +
 +Запуск ''sh subs_search_for_competitors_sample.sh''
 +
 +Параметры в скрипте:\\
 +''format="CSV"'' - формат вывода. По умолчанию CSV. Возможные форматы: https://clickhouse.com/docs/en/interfaces/formats/\\
 +''periodSecs=24*3600'' - период в секундах. По умолчанию 24 часа\\
 +''hostsMatch="(?i)(\W|)(rt.ru|domru.ru.com)(\W|$)"''- регулярное выражение для поиска по нескольким хостам. Сюда рекомендуется добавлять актуальных местных конкурентов.
 +
 +=====Сервисы замера скорости=====
 +Обычный пользователь вспоминает о существовании данных сервисов только при наличии проблем. Источником проблем могут быть:
 +  * низкая скорость тарифа, абонент вышел на "полку"
 +  * проблемы на сети оператора
 +  * проблемы аплинка (включая нестабильную работу необходимого абоненту сервиса)
 +  * слабый WiFi
 +
 +Все эти проблемы можно выявить с помощью метрик статистики DPI или данных мониторинга сети.
 +
 +Для получения выгрузки можно использовать готовый запрос, который учитывает пользование наиболее популярными сервисами. Если хотите добавить новый сервис - уточните в запросе.
 +<code>https://www.speedtest.net/
 +internet.yandex.ru
 +https://2ip.ru/speed/
 +https://internetometer.ru/
 +https://speedtestt.ru/
 +https://rt-internet.ru/proverit-skorost
 +https://skoromer.ru/
 +https://www.bandwidthplace.com/</code>
 +
 +Рекомендуется работать с абонентами из выгрузки, которые 3 и более раз в неделю посещают сайты из выгрузки. Для этого можно:
 +  * Выгружать данные ежедневно в свою базу данных через API или напрямую из Click House QoE, уже в ней накладывать фильтры.
 +  * Сделать триггер в графическом интерфейсе с заданными параметрами.
 +  * Точнее работают вместе с запросами по конкурентам
 +
 +Пример фильтра запроса для графического интерфейса:
 +<code>match host (?i)(\W|^)(speedtest|2ip.ru|fast.com|internetometer.ru|speedtestt.ru|rt-internet.ru|skoromer.ru/|www.bandwidthplace.com)(\W|$)</code>
 +<code>(?i)(\W|^)(speedtest|2ip|nperf|internetometer|bandwidthplace.com|test.byfly.by|skoromer.ru)(\W|$)</code>
 +
 +Пример запроса в базу:\\
 +{{ :dpi:qoe_analytics:cases:queries_from_database:subs_speedtest_sample.sh |Скачать скрипт здесь}}
 +
 +Запуск ''sh subs_speedtest_sample.sh''
 +
 +Параметры в скрипте:\\
 +''format="CSV"'' - формат вывода. По умолчанию CSV. Возможные форматы: https://clickhouse.com/docs/en/interfaces/formats/\\
 +''periodSecs=24*3600'' - период в секундах. По умолчанию 24 часа\\
 +''hostsMatch="(?i)(\W|)(speedtest.net|internet.yandex.ru|2ip.ru|internetometer.ru|speedtestt.ru|rt-internet.ru|skoromer.ru|'' - регулярное выражение для поиска по нескольким хостам
 +
 +=====Ухудшение качества интернета=====
 +Самая простая и изученная метрика DPI по проверке качества связи - [[https://bezopasnik.info/что-такое-время-приема-передачи-rtt/|RTT]]. DPI позволяет измерить RTT и поделить его по направлениям (к абоненту и от абонента) и уточнить по протоколам и устройствам при необходимости. Большая задержка в течение продолжительного времени “от абонента” скорее всего говорит о том, что абонент испытывает сложности с доступом к онлайновым сервисам - играм, видео, коммуникации. Как правило, задержка возникает из-за wifi-сети абонента, но может  говорить и о перегрузке узлов сети.
 +
 +Действия:
 +  - Перейти в раздел QoE Аналитика → Абоненты → Нетфлоу
 +  - Создать фильтр, где:
 +    * предлагается ограничить поиск по протоколу http/https, чтобы отсеять возможные особенности других протоколов при установке TCP соединения
 +    * указать среднюю скорость, чтобы делать выборку из абонентов, активно пользующихся интернет
 +    * указать нижний порог RTT от клиента
 +
 +{{:dpi:qoe_analytics:cases:queries_from_database:problematic_subscribers_3.png?nolink&700|}}
 +
 +Рекомендуется работать с абонентами из выгрузки, у которых среднее (а еще лучше медианное) RTT больше 100 за 24 часа. Для этого можно:
 +  - Выгружать данные ежедневно в свою базу данных через API или напрямую из Click House QoE, уже в ней накладывать фильтры.
 +  - Сделать триггер в графическом интерфейсе с заданными параметрами.
 +
 +При обработке важно учесть следующие факторы:
 +  - Стоит проверить географическое распределение “проблемной” выгрузки. “Кучность” как правило появляется из-за перегрузок сети или старого коммутатора, проблему можно устранить на стороне оператора. Бывает, что “плохой” район подключен по устаревшей технологии (DSL или радиодоступ), тогда плохой RTT уже “не баг, а фича”.
 +  - Абонент может не испытывать дискомфорт из-за задержки (и прямо говорит об этом если его спросить по телефону), например в случаях:
 +    * работают устройства IoT, может быть слабый сигнал у них
 +    * работает на устаревшем оборудовании и не ждет чудес 
 +    * не пользуется онлайновыми сервисами
 +  - Проблемы в wifi сети могут возникать по причинам:
 +    * зашумленный WiFi диапазон 2.4 в многоквартирном доме
 +    * слабый роутер
 +    * сложная топология или большие размеры квартиры/дома
 +  - Иногда невозможно определить хост, куда обращался абонент с высоким RTT\\ {{:dpi:qoe_analytics:cases:queries_from_database:problematic_subscribers_4.png?nolink&1100|}}\\ Такое может быть по трем причинам:
 +    * обращение по IP
 +    * не http протокол
 +    * не указан SNI
 +  - В дополнение к RTT можно использовать метрику %ретрансмитов при поиске проблемных абонентов. Если продолжительное время (>30 минут) наблюдается существенное превышение фонового значения по ретрансмитам (обычно 4-5%), это признак деградации услуги у абонента. Использовать ретрансмиты без RTT не рекомендуется, велика вероятность ложного срабатывания.
 +
 +{{:dpi:qoe_analytics:cases:queries_from_database:problematic_subscribers_5.png?nolink&1100|}}
 +
 +Пример запроса в базу:\\
 +{{ :dpi:qoe_analytics:cases:queries_from_database:subs_bad_rtt_sample.sh |Скачать скрипт}}
 +
 +Параметры в скрипте:\\
 +''format="CSV"'' - формат вывода. По умолчанию CSV. Возможные форматы: https://clickhouse.com/docs/en/interfaces/formats/\\
 +''periodSecs=24*3600'' - период в секундах. По умолчанию 24 часа\\
 +''rttMore=100'' - значение RTT. По умолчанию 100
 +
 +=====Что делать с проблемными абонентами?=====
 +  - Сегментировать абонентскую базу с выделением возможных причин неблагоприятной статистики:
 +    * устаревшая технология доступа
 +    * наличие IoT-устройств
 +    * слабые роутеры
 +  - Проверить качество услуг, используя возможные метрики из иных ИС:
 +    * мониторинг сети (особенно если есть много клиентов с одного узла)
 +    * запросы в ТП
 +    * нерегулярная оплата услуг
 +//Для этого рекомендуется сделать отдельную БД “проблемных абонентов” и организовать в нее экспорт данных на регулярной основе из различных ИС. Важно, что набор показателей “проблемности” работает значительно эффективнее, чем //
 +  - Провести опрос удовлетворенности:
 +  * по телефону
 +  * используя анкету через редирект DPI
 +  - Задействовать механизмы удержания (акции, скидки,замена оборудования и др.)
 +
 +//В случае наличия базы “проблемных абонентов” у оператора появляется новый измеряемый <wrap hi>индикатор “здоровья”</wrap>.//