====== Использование DPI для оптимизация передачи больших объемов данных ======
{{indexmenu_n>6}}

С ростом количества пользователей и с увеличением скорости в тарифных планах через некоторое время встает вопрос о значительном расширении систем хранения трафика. СКАТ позволяет уменьшить объем трафика, зеркалируемый на СХД, путем оптимизации и фильтрации больших объемов данных (тяжелого контента), например p2p (торрент), видео в форматах HD и Full HD, данные стриминговых сервисов и видеохостингов. Ориентировочный процент оптимизации трафика составляет **от 20% до 70%** в зависимости от структуры трафика и списка оптимизируемых для фильтрации [[dpi:dpi_options:protocols|сигнатур протоколов]].

Особенности покупки лицензии для оптимизация передачи больших объемов данных:\\
  * Для проведения оптимизации трафика нужна лицензия — СКАТ BASE
  * Схема установки — [[dpi:dpi_brief:install_point_ssg:instruction_instal_mirror|зеркало]]
  * Пропускная способность лицензии СКАТ определяется суммарным зеркалируемым трафиком, правила описаны в разделе [[dpi:licensing]]

Схема использования:\\
{{ :dpi:dpi_options:use_cases:big_data_optimizing.png?nolink&500 |}}

=====Пример 1: Один интерфейс на вход и один на выход (01-00.0 → 01-00.1)=====

Определить параметры интерфейсов в конфигурационном файле ''/etc/dpi/fastdpi.conf'':
<code bash>
in_dev=01-00.0
out_dev=01-00.1
only_tcp=0
mem_preset=1
</code>


1. Создаем файл **protocols.txt** c описанием групп протоколов, которые нужно отбросить при передаче зеркала in шт в out порты:
<code bash>
echo "bittorrent drop" > protocols.txt
</code>

2. Конвертируем его в формат dscp, который понимает fastDPI:
<code bash>
cat protocols.txt|lst2dscp /etc/dpi/protocols.dscp
</code>

3. Применяем настройки:
<code>
service fastdpi reload
</code>

<note important>[[dpi:dpi_options:protocols|Полный список протоколов.]]</note> 

**Проверка результатов фильтрации:**

Выполнить
<code bash>tail -200 /var/log/dpi/fastdpi_stat.log</code>

В строках статистики найти процент и объем отфильтрованного трафика:
<code bash>
  IF 01-00.0 :
  ...
     Drop: [8054507798 bytes][68.92 %]
           [9406449 pkts ][67.16 %]
  ...
</code>  


=====Пример 2: Два входных интерфейса и один на выход (01-00.0 и 01-00.1 → 01-00.2)=====

Определить параметры интерфейсов в конфигурационном файле ''/etc/dpi/fastdpi.conf'':
<code bash>
in_dev=01-00:01-00.1
out_dev=01-00.2:01-00.2
only_tcp=0
mem_preset=1
</code>

1. Создаем файл **protocols.txt** c описанием групп протоколов, которые нужно отбросить при передаче зеркала in шт в out порты:
<code>
oob-ws-https drop
llsurfup-https drop
compaq-https drop
jpegmpeg drop
wap-push-https drop
appserv-https drop
wbem-https drop
wbem-exp-https drop
sun-sr-https drop
plysrv-https drop
pcsync-https drop
https-wmap drop
armcenterhttps drop
tungsten-https drop
amt-soap-https drop
commtact-https drop
Bittorrent drop
AVI drop
Flash drop
MPEG drop
QuickTime drop
smc-https drop
oracleas-https drop
sun-user-https drop
synapse-nhttps drop
tnt_premier drop
okko drop
kinopoisk drop
wink drop
start_tv drop
smotrim_vgtrk_tv drop
tricolor_tv drop
beeline_tv drop
match_tv drop
ivi drop
amediateka drop
movix drop
kino_1tv drop
1tv drop
ntv_plus drop
limehd_tv drop
kion drop
24h_tv drop
peers_tv drop
smotreshkatv drop
rutube drop
youtube drop
hls video drop
VK_CDN_VIDEO drop
QUIC_UNKNOWN_MARKED drop
bigotv drop
</code>
<note important>[[dpi:dpi_options:protocols|Полный список протоколов.]]</note> 

2. Конвертируем его в формат dscp, который понимает fastDPI:
<code>
cat protocols.txt|lst2dscp /etc/dpi/protocols.dscp
</code>

3. Применяем настройки:
<code>
service fastdpi reload
</code>

**Проверить результаты фильтрации:**

Выполнить 
<code bash>tail -200 /var/log/dpi/fastdpi_stat.log</code>

В строках статистики найти процент и объем отфильтрованного трафика

На 01-00.0:
<code bash>Drop: [29472283528 bytes ][69.20%]</code>  

На 01-00.1:
<code bash>Drop: [31027588123 bytes ][68.27%]</code>