Использование DPI для оптимизация передачи больших объемов данных

С ростом количества пользователей и с увеличением скорости в тарифных планах через некоторое время встает вопрос о значительном расширении систем хранения трафика. СКАТ позволяет уменьшить объем трафика, зеркалируемый на СХД, путем оптимизации и фильтрации больших объемов данных (тяжелого контента), например p2p (торрент), видео в форматах HD и Full HD, данные стриминговых сервисов и видеохостингов. Ориентировочный процент оптимизации трафика составляет от 20% до 70% в зависимости от структуры трафика и списка оптимизируемых для фильтрации сигнатур протоколов.

Особенности покупки лицензии для оптимизация передачи больших объемов данных:

Для проведения оптимизации трафика нужна лицензия — СКАТ BASE

Схема установки — зеркало

Пропускная способность лицензии СКАТ определяется суммарным зеркалируемым трафиком, правила описаны в разделе Лицензирование

Схема использования:

Пример 1: Один интерфейс на вход и один на выход (01-00.0 → 01-00.1)

Определить параметры интерфейсов в конфигурационном файле /etc/dpi/fastdpi.conf:

in_dev=01-00.0 out_dev=01-00.1 only_tcp=0 mem_preset=1

1. Создаем файл protocols.txt c описанием групп протоколов, которые нужно отбросить при передаче зеркала in шт в out порты:

echo "bittorrent drop" > protocols.txt

2. Конвертируем его в формат dscp, который понимает fastDPI:

cat protocols.txt|lst2dscp /etc/dpi/protocols.dscp

3. Применяем настройки:

service fastdpi reload

Полный список протоколов.

Проверка результатов фильтрации:

Выполнить

tail -200 /var/log/dpi/fastdpi_stat.log

В строках статистики найти процент и объем отфильтрованного трафика:

IF 01-00.0 : ... Drop: [8054507798 bytes][68.92 %] [9406449 pkts ][67.16 %] ...

Пример 2: Два входных интерфейса и один на выход (01-00.0 и 01-00.1 → 01-00.2)

Определить параметры интерфейсов в конфигурационном файле /etc/dpi/fastdpi.conf:

in_dev=01-00:01-00.1 out_dev=01-00.2:01-00.2 only_tcp=0 mem_preset=1

1. Создаем файл protocols.txt c описанием групп протоколов, которые нужно отбросить при передаче зеркала in шт в out порты:

oob-ws-https drop
llsurfup-https drop
compaq-https drop
jpegmpeg drop
wap-push-https drop
appserv-https drop
wbem-https drop
wbem-exp-https drop
sun-sr-https drop
plysrv-https drop
pcsync-https drop
https-wmap drop
armcenterhttps drop
tungsten-https drop
amt-soap-https drop
commtact-https drop
Bittorrent drop
AVI drop
Flash drop
MPEG drop
QuickTime drop
smc-https drop
oracleas-https drop
sun-user-https drop
synapse-nhttps drop
tnt_premier drop
okko drop
kinopoisk drop
wink drop
start_tv drop
smotrim_vgtrk_tv drop
tricolor_tv drop
beeline_tv drop
match_tv drop
ivi drop
amediateka drop
movix drop
kino_1tv drop
1tv drop
ntv_plus drop
limehd_tv drop
kion drop
24h_tv drop
peers_tv drop
smotreshkatv drop
rutube drop
youtube drop
hls video drop
VK_CDN_VIDEO drop
QUIC_UNKNOWN_MARKED drop
bigotv drop

Полный список протоколов.

2. Конвертируем его в формат dscp, который понимает fastDPI:

cat protocols.txt|lst2dscp /etc/dpi/protocols.dscp

3. Применяем настройки:

service fastdpi reload

Проверить результаты фильтрации:

Выполнить

tail -200 /var/log/dpi/fastdpi_stat.log

В строках статистики найти процент и объем отфильтрованного трафика

На 01-00.0:

Drop: [29472283528 bytes ][69.20%]

На 01-00.1:

Drop: [31027588123 bytes ][68.27%]