Использование DPI для оптимизация передачи больших объемов данных [Документация VAS Experts]
Документация VAS Experts Документация VAS Experts-mobile
in

Настройки

  • Показать страницу
  • История страницы
  • Свернуть / развернуть всё
  • Ссылки сюда
  • Показать страницу
  • История страницы
  • Свернуть / развернуть всё
  • Ссылки сюда

    • Различия

    Показаны различия между двумя версиями страницы.

    Ссылка на это сравнение

    Предыдущая версия справа и слеваПредыдущая версия
    Следующая версия    		Предыдущая версия
    dpi:dpi_options:use_cases:big_data_optimizing [2025/09/30 14:15] – удалено - внешнее изменение (Дата неизвестна) 127.0.0.1dpi:dpi_options:use_cases:big_data_optimizing [2025/10/01 14:06] (текущий) – elena.krasnobryzh
    Строка 1: Строка 1:
     +====== Использование DPI для оптимизация передачи больших объемов данных ======
     +{{indexmenu_n>6}}
     +
     +С ростом количества пользователей и с увеличением скорости в тарифных планах через некоторое время встает вопрос о значительном расширении систем хранения трафика. СКАТ позволяет уменьшить объем трафика, зеркалируемый на СХД, путем оптимизации и фильтрации больших объемов данных (тяжелого контента), например p2p (торрент), видео в форматах HD и Full HD, данные стриминговых сервисов и видеохостингов. Ориентировочный процент оптимизации трафика составляет **от 20% до 70%** в зависимости от структуры трафика и списка оптимизируемых для фильтрации [[dpi:dpi_options:protocols|сигнатур протоколов]].
     +
     +Особенности покупки лицензии для оптимизация передачи больших объемов данных:\\
     +  * Для проведения оптимизации трафика нужна лицензия — СКАТ BASE
     +  * Схема установки — [[dpi:dpi_brief:install_point_ssg:instruction_instal_mirror|зеркало]]
     +  * Пропускная способность лицензии СКАТ определяется суммарным зеркалируемым трафиком, правила описаны в разделе [[dpi:licensing]]
     +
     +Схема использования:\\
     +{{ :dpi:dpi_options:use_cases:big_data_optimizing.png?nolink&500 |}}
     +
     +=====Пример 1: Один интерфейс на вход и один на выход (01-00.0 → 01-00.1)=====
     +
     +Определить параметры интерфейсов в конфигурационном файле ''/etc/dpi/fastdpi.conf'':
     +<code bash>
     +in_dev=01-00.0
     +out_dev=01-00.1
     +only_tcp=0
     +mem_preset=1
     +</code>
     +
     +
     +1. Создаем файл **protocols.txt** c описанием групп протоколов, которые нужно отбросить при передаче зеркала in шт в out порты:
     +<code bash>
     +echo "bittorrent drop" > protocols.txt
     +</code>
     +
     +2. Конвертируем его в формат dscp, который понимает fastDPI:
     +<code bash>
     +cat protocols.txt|lst2dscp /etc/dpi/protocols.dscp
     +</code>
     +
     +3. Применяем настройки:
     +<code>
     +service fastdpi reload
     +</code>
     +
     +<note important>[[dpi:dpi_options:protocols|Полный список протоколов.]]</note> 
     +
     +**Проверка результатов фильтрации:**
     +
     +Выполнить
     +<code bash>tail -200 /var/log/dpi/fastdpi_stat.log</code>
     +
     +В строках статистики найти процент и объем отфильтрованного трафика:
     +<code bash>
     +  IF 01-00.0 :
     +  ...
     +     Drop: [8054507798 bytes][68.92 %]
     +           [9406449 pkts ][67.16 %]
     +  ...
     +</code>  
     +
     +
     +=====Пример 2: Два входных интерфейса и один на выход (01-00.0 и 01-00.1 → 01-00.2)=====
     +
     +Определить параметры интерфейсов в конфигурационном файле ''/etc/dpi/fastdpi.conf'':
     +<code bash>
     +in_dev=01-00:01-00.1
     +out_dev=01-00.2:01-00.2
     +only_tcp=0
     +mem_preset=1
     +</code>
     +
     +1. Создаем файл **protocols.txt** c описанием групп протоколов, которые нужно отбросить при передаче зеркала in шт в out порты:
     +<code>
     +oob-ws-https drop
     +llsurfup-https drop
     +compaq-https drop
     +jpegmpeg drop
     +wap-push-https drop
     +appserv-https drop
     +wbem-https drop
     +wbem-exp-https drop
     +sun-sr-https drop
     +plysrv-https drop
     +pcsync-https drop
     +https-wmap drop
     +armcenterhttps drop
     +tungsten-https drop
     +amt-soap-https drop
     +commtact-https drop
     +Bittorrent drop
     +AVI drop
     +Flash drop
     +MPEG drop
     +QuickTime drop
     +smc-https drop
     +oracleas-https drop
     +sun-user-https drop
     +synapse-nhttps drop
     +tnt_premier drop
     +okko drop
     +kinopoisk drop
     +wink drop
     +start_tv drop
     +smotrim_vgtrk_tv drop
     +tricolor_tv drop
     +beeline_tv drop
     +match_tv drop
     +ivi drop
     +amediateka drop
     +movix drop
     +kino_1tv drop
     +1tv drop
     +ntv_plus drop
     +limehd_tv drop
     +kion drop
     +24h_tv drop
     +peers_tv drop
     +smotreshkatv drop
     +rutube drop
     +youtube drop
     +hls video drop
     +VK_CDN_VIDEO drop
     +QUIC_UNKNOWN_MARKED drop
     +bigotv drop
     +</code>
     +<note important>[[dpi:dpi_options:protocols|Полный список протоколов.]]</note> 
     +
     +2. Конвертируем его в формат dscp, который понимает fastDPI:
     +<code>
     +cat protocols.txt|lst2dscp /etc/dpi/protocols.dscp
     +</code>
     +
     +3. Применяем настройки:
     +<code>
     +service fastdpi reload
     +</code>
     +
     +**Проверить результаты фильтрации:**
     +
     +Выполнить 
     +<code bash>tail -200 /var/log/dpi/fastdpi_stat.log</code>
     +
     +В строках статистики найти процент и объем отфильтрованного трафика
     +
     +На 01-00.0:
     +<code bash>Drop: [29472283528 bytes ][69.20%]</code>  
     +
     +На 01-00.1:
     +<code bash>Drop: [31027588123 bytes ][68.27%]</code> 
     +