Использование DPI для оптимизация передачи больших объемов данных [Документация VAS Experts]

Это старая версия документа!


Использование DPI для оптимизация передачи больших объемов данных

С ростом количества пользователей и с увеличением скорости в тарифных планах через некоторое время встает вопрос о значительном расширении систем хранения трафика. СКАТ позволяет уменьшить объем трафика, зеркалируемый на СХД, путем оптимизации и фильтрации больших объемов данных (тяжелого контента), например p2p (торрент), видео в форматах HD и Full HD, данные стриминговых сервисов и видеохостингов. Ориентировочный процент оптимизации трафика составляет от 20% до 70% в зависимости от структуры трафика и списка оптимизируемых для фильтрации сигнатур протоколов.

Особенности покупки лицензии для оптимизация передачи больших объемов данных:

  • Для проведения оптимизации трафика нужна лицензия — BASE
  • Схема установки — зеркало
  • Пропускная способность лицензии определяется суммарным трафиком, правила описаны в разделе Лицензирование

Схема использования:

Пример 1: Один интерфейс на вход и один на выход (01-00.0 → 01-00.1)

Определить параметры интерфейсов в конфигурационном файле /etc/dpi/fastdpi.conf:

in_dev=01-00.0
out_dev=01-00.1
only_tcp=0
mem_preset=1

Создать файл и сконвертировать в protocols.dscp:

echo "bittorrent drop" > protocols.txt
cat protocols.txt|lst2dscp /etc/dpi/protocols.dscp

Проверка результатов фильтрации:

Выполнить

tail -200 /var/log/dpi/fastdpi_stat.log

В строках статистики найти процент и объем отфильтрованного трафика:

  IF 01-00.0 :
  ...
     Drop: [8054507798 bytes][68.92 %]
           [9406449 pkts ][67.16 %]
  ...

Пример 2: Два входных интерфейса и один на выход (01-00.0 и 01-00.1 → 01-00.2)

Определить параметры интерфейсов в конфигурационном файле /etc/dpi/fastdpi.conf:

in_dev=01-00:01-00.1
out_dev=01-00.2:01-00.2
only_tcp=0
mem_preset=1

1. Создаем файл protocols.txt c описанием групп протоколов, которые мы хотим выделить из общего трафика, и назначенных им приоритетов (классов):

oob-ws-https drop
llsurfup-https drop
compaq-https drop
jpegmpeg drop
wap-push-https drop
appserv-https drop
wbem-https drop
wbem-exp-https drop
sun-sr-https drop
plysrv-https drop
pcsync-https drop
https-wmap drop
armcenterhttps drop
tungsten-https drop
amt-soap-https drop
commtact-https drop
Bittorrent drop
AVI drop
Flash drop
MPEG drop
QuickTime drop
smc-https drop
oracleas-https drop
sun-user-https drop
synapse-nhttps drop
tnt_premier drop
okko drop
kinopoisk drop
wink drop
start_tv drop
smotrim_vgtrk_tv drop
tricolor_tv drop
beeline_tv drop
match_tv drop
ivi drop
amediateka drop
movix drop
kino_1tv drop
1tv drop
ntv_plus drop
limehd_tv drop
kion drop
24h_tv drop
peers_tv drop
smotreshkatv drop
rutube drop
youtube drop
hls video drop
VK_CDN_VIDEO drop
QUIC_UNKNOWN_MARKED drop
bigotv drop

2. Конвертируем его в формат dscp, который понимает fastDPI

cat protocols.txt|lst2dscp /etc/dpi/protocols.dscp

3. Применяем настройки

service fastdpi reload

Проверить результаты фильтрации:

Выполнить

tail -200 /var/log/dpi/fastdpi_stat.log

В строках статистики найти процент и объем отфильтрованного трафика

На 01-00.0:

Drop: [29472283528 bytes ][69.20%]

На 01-00.1:

Drop: [31027588123 bytes ][68.27%]

Была ли полезна эта информация?