====== Фильтрация по реестру запрещенных сайтов (услуга 4) ======
{{indexmenu_n>1}}
[[dpi:dpi_options:opt_filtration|Описание продукта]]
**Внимание:** списки выгружаются каждые 5 минут. Если появляются пропуски по Минюсту (Роскомнадзор может выгружать Ревизору раньше, чем появляется в списках), поставьте интервал короче, например ''timeout_check_new_bl=5'' и сделайте релоад ''service fastdpi reload'', это частично решает проблему (если в списках еще нет данных, мы заблокировать их не можем).
17.11.17
Проверка: 17.11.2017 15:18:47
УРЛ: http://54.165.182.92
out-2017-11-17T14:16:02.000+04:00.zip count=0
out-2017-11-17T15:16:02.000+04:00.zip count=1
проверка 2 мин, таймер обновления 5 минут, ревизор проверил раньше чем DPI
загрузил новый список (1 час не было изменений в реестре)
12.10.17
Проверка: 12.10.2017 19:00:19
УРЛ: www.torrentok.org/kino/3514-intervyu_s_putinyim_2017.html
out-2017-10-12T16:46:02.000+04:00.zip count=1
out-2017-10-12T17:16:04.000+04:00.zip count=0
Проверка: 12.10.2017 19:00:19
УРЛ: www.trackerok.com/tv/776976-intervyu_s_putinyim_The_Putin_Interviews_serii_1-4_iz_4_oliver_stoun_Oliver_Stone_2017_dokumentalnyiy_biografiya_HDTVRip_MVO_pervyiy_kanal.html
out-2017-10-12T16:46:02.000+04:00.zip count=1
out-2017-10-12T17:16:04.000+04:00.zip count=0
11.10.17
Проверка: 11.10.2017 14:08:37
УРЛ: www.casinoz.su/casino
out-2017-10-11T13:16:03.000+04:00.zip count=0
out-2017-10-11T14:16:04.000+04:00.zip count=1
проверка раньше получения выгрузки (1 час не было изменений в реестре)
04.10.17
Проверка: 04.10.2017 10:07
УРЛ: 54.226.8.111
out-2017-10-04T09:16:12.000+04:00.zip count=0
out-2017-10-04T09:31:04.000+04:00.zip count=1
Проверка: 02.10.2017 11:07
УРЛ: 34.234.71.76
out-2017-10-04T10:31:01.000+04:00.zip count=0
out-2017-10-04T10:46:03.000+04:00.zip count=1
Проверка: 02.10.2017 12:07
УРЛ: 54.90.155.13
out-2017-10-04T11:16:03.000+04:00.zip count=0
out-2017-10-04T11:46:30.000+04:00.zip count=1
Проверка: 02.10.2017 14:07
УРЛ: 54.164.174.66
out-2017-10-04T13:16:04.000+04:00.zip count=0
out-2017-10-04T13:46:04.000+04:00.zip count=1
Проверка: 02.10.2017 15:07
УРЛ: 34.227.192.56
out-2017-10-04T14:31:02.000+04:00.zip count=0
out-2017-10-04T15:01:03.000+04:00.zip count=1
Проверка: 02.10.2017 17:07
УРЛ: 54.166.200.6
out-2017-10-04T16:16:05.000+04:00.zip count=0
out-2017-10-04T17:01:21.000+04:00.zip count=1
=> укоротите timeout_check_new_bl до 5 или 1 минуты
РКН не выдерживает регламент в 1 час, поверяют "немедленно"
02.10.17
Проверка: 02.10.2017 19:43 - 19:50
УРЛ: www.footballalmanax.com, football-plyus.net, hdkino.info/917-film-gogol-nachalo-2017-a.html, hdzal.net
out-2017-10-02T16:16:12.000+04:00.zip count=1
out-2017-10-02T17:02:05.000+04:00.zip count=0
Исключены в 17:01 - проверка в 19:40+
28.09.17
Проверка: 28.09.2017 15:31:29
УРЛ: showtv-online.com/serial/1562-gogol-2016.html
out-2017-09-28T13:31:02.000+04:00.zip count=1
out-2017-09-28T14:01:06.000+04:00.zip count=0
(ресурс исключен к моменту проверки)
Проверка: 28.09.2017 15:16:23
УРЛ: http://52.23.202.135
out-2017-09-28T14:16:02.000+04:00.zip count=0
out-2017-09-28T15:01:02.000+04:00.zip count=1
( не выполнен регламент 1 час на ревизоре )
Проверка: 28.09.2017 14:17:59
УРЛ: http://34.229.145.60
out-2017-09-28T13:31:02.000+04:00.zip count=0
out-2017-09-28T14:01:06.000+04:00.zip count=1
( не выполнен регламент 1 час на ревизоре )
22.09.17
Проверка: 22.09.2017 11:06:34
УРЛ: 34.229.216.98
out-2017-09-22T10:16:03.000+04:00.zip count=0
out-2017-09-22T10:46:03.000+04:00.zip count=1
(см.выше timeout_check_new_bl=20, возможно даже еще короче интервал нужен в данном случае
ревизор не выдерживает интервал в 1 час от появления в списе по регламенту)
21.09.17
Проверка: 21.09.2017 10:39:35
УРЛ: 34.228.15.210
out-2017-09-21T09:16:04.000+04:00.zip count=0
out-2017-09-21T09:46:03.000+04:00.zip count=1
(см.выше timeout_check_new_bl=20)
Проверка: 21.09.2017 13:56
УРЛ: knigian.net/sovremennaya-proza/duh-69-go-bibliya-skinheda.html
out-2017-09-21T07:16:02.000+04:00.zip count=1
out-2017-09-21T08:16:10.000+04:00.zip count=0
(проверка ревизором после удаления)
Проверка: 21.09.2017 17:19
УРЛ: 54.227.110.18
out-2017-09-21T16:16:03.000+04:00.zip count=0
out-2017-09-21T16:46:03.000+04:00.zip count=1
(см.выше timeout_check_new_bl=20)
20.09.17
Проверка: 20.09.2017 16:15
УРЛ: http://34.229.88.50
out-2017-09-20T15:16:04.000+04:00.zip count=0
out-2017-09-20T15:46:03.000+04:00.zip count=1
(см. выше стоит обновление 60 минут по умолчанию)
Проверка: 20.09.2017 18:16, 18:21
УРЛ: http://54.211.124.53
out-2017-09-20T17:16:04.000+04:00.zip count=0
out-2017-09-20T17:46:02.000+04:00.zip count=1
(регламент 1 час после включения в список)
Проверка: 20.09.2017 с 16:39 по 18:43
УРЛ: http://kinoluvr.net/4670-671-molodezhka-vzroslaya-zhizn-5-sezon-15-09-2017.html
out-2017-09-20T12:31:02.000+04:00.zip count=1
out-2017-09-20T12:46:04.000+04:00.zip count=0
(исключен)
Проверка: 20.09.2017 13:38
УРЛ: http://54.172.95.171
out-2017-09-20T12:31:02.000+04:00.zip count=0
out-2017-09-20T12:46:04.000+04:00.zip count=1
(см. выше стоит обновление 60 минут по умолчанию)
19.09.2017
Проверка: 19.09.2017 14:15
УРЛ: http://34.227.9.241
out-2017-09-19T13:16:03.000+04:00.zip count=0
out-2017-09-19T14:16:05.000+04:00.zip count=1
18.09.17
Проверка: 18.09.2017 16:14
УРЛ: http://m-ki.ru/film/2146-gogol-nachalo.html
Фактическое удаление из списков:
out-2017-09-18T12:16:04.000+04:00.zip count=1
out-2017-09-18T13:31:02.000+04:00.zip count=0
Проверка: 18.09.2017 09:08:24
УРЛ: http://54.85.35.113
Фактическое появление в списках:
out-2017-09-18T09:16:03.000+04:00.zip count=0
out-2017-09-18T09:46:02.000+04:00.zip count=1
Проверка: 18.09.2017 10:05:40
УРЛ: http://34.224.100.15
Фактическое появление в списках:
out-2017-09-18T10:16:05.000+04:00.zip count=0
out-2017-09-18T10:31:01.000+04:00.zip count=1
15.09.17
Проверка: 15.09.2017 10:06:07
УРЛ: http://54.86.157.113
Фактическое появление в списках:
out-2017-09-15T10:16:02.000+04:00.zip count=0
out-2017-09-15T10:46:02.000+04:00.zip count=1
Проверка: 15.09.2017 13:05:58
УРЛ: http://54.164.151.203
Фактическое появление в списках:
out-2017-09-15T13:16:03.000+04:00.zip count=0
out-2017-09-15T13:46:02.000+04:00.zip count=1
14.09.17
Проверка: 14.09.2017 09:06:28
УРЛ: http://54.174.78.70
Фактическое появление в списках:
out-2017-09-14T09:31:02.000+04:00.zip count=0
out-2017-09-14T10:01:02.000+04:00.zip count=1
13.09.17
Проверка: 13.09.2017 09:06:31
УРЛ: http://34.230.70.64
Фактическое появление в списках:
out-2017-09-13T09:16:02.000+04:00.zip count=0
out-2017-09-13T09:31:02.000+04:00.zip count=1
12.09.17
Проверка: 12.09.2017 11:05:57
УРЛ: http://34.204.42.8
Фактическое появление в списках:
out-2017-09-12T11:16:03.000+04:00.zip count=0
out-2017-09-12T11:46:02.000+04:00.zip count=1
Проверка: 12.09.2017 13:05:42
УРЛ: http://54.152.145.250
Фактическое появление в списках:
out-2017-09-12T13:31:01.000+04:00.zip count=0
out-2017-09-12T13:46:24.000+04:00.zip count=1
Проверка: 12.09.2017 16:06:03
УРЛ: http://34.227.75.113
Фактическое появление в списках:
out-2017-09-12T16:16:04.000+04:00.zip count=0
out-2017-09-12T17:01:01.000+04:00.zip count=1
Проверка: 12.09.2017 18:05:20
УРЛ: http://34.201.106.78
Фактическое появление в списках:
out-2017-09-12T17:16:02.000+04:00.zip count=0
out-2017-09-12T18:31:01.000+04:00.zip count=1
11.09.17
Проверка: 11.09.2017 12:05:48
УРЛ: http://34.207.144.151
Фактическое появление в списках:
out-2017-09-11T12:16:04.000+04:00.zip count=0
out-2017-09-11T12:31:53.000+04:00.zip count=1
08.09.17
Проверка: 08.09.2017 10:03:44
УРЛ: http://54.221.189.235
Фактическое появление в списках:
out-2017-09-08T10:31:02.000+04:00.zip count=0
out-2017-09-08T11:01:02.000+04:00.zip count=1
Проверка: 08.09.2017 11:04:24
УРЛ: http://52.23.188.19
Фактическое появление в списках:
out-2017-09-08T11:01:02.000+04:00.zip count=0
out-2017-09-08T12:31:38.000+04:00.zip count=1
Проверка: 08.09.2017 12:03:25
УРЛ: http://54.84.44.85
Фактическое появление в списках:
out-2017-09-08T12:46:12.000+04:00.zip count=0
out-2017-09-08T13:01:01.000+04:00.zip count=1
Проверка: 08.09.2017 13:04:51
УРЛ: http://54.157.61.39
Фактическое появление в списках:
out-2017-09-08T13:16:01.000+04:00.zip count=0
out-2017-09-08T14:16:01.000+04:00.zip count=1
07.09.17
Проверка: 07.09.2017 17:04:29
УРЛ: http://54.174.168.240
Фактическое появление в списках:
out-2017-09-07T16:16:02.000+04:00.zip count=0
out-2017-09-07T16:31:02.000+04:00.zip count=1
Проверка: 07.09.2017 18:05:38
УРЛ: http://34.227.46.204
Фактическое появление в списках:
out-2017-09-07T17:16:03.000+04:00.zip count=0
out-2017-09-07T18:16:01.000+04:00.zip count=1
06.09.2017
Проверка: 06.09.2017 10:05:11
УРЛ: http://34.226.197.34
Фактическое появление в списках:
out-2017-09-06T09:46:02.000+04:00.zip count=0
out-2017-09-06T10:01:02.000+04:00.zip count=1
05.09.2017
Проверка: 05.09.2017 11:08:18
УРЛ: http://ec2-34-228-39-201.compute-1.amazonaws.com
Фактическое появление в списках:
out-2017-09-05T11:36:01.000+04:00.zip count=0
out-2017-09-05T12:06:02.000+04:00.zip count=0
out-2017-09-05T13:06:29.000+04:00.zip count=1
04.09.2017
Проверка: 04.09.2017 11:03:04
УРЛ: http://54.173.161.204
out-2017-09-04T10:06:03.000+04:00.zip count=0
out-2017-09-04T11:06:02.000+04:00.zip count=1
+Проверка: 04.09.2017 11:05:04
УРЛ: http://54.173.161.204
out-2017-09-04T10:06:03.000+04:00.zip count=0
out-2017-09-04T11:06:02.000+04:00.zip count=1
по сути проверка ревизором прошло за минуту до появления в списке, т.к. промежуточный 30 мин. не изменялся
01.09.2017
запись - http://54.165.100.190, 54.165. 100.190, GET
нарушение зафиксировано 01 Сен, 2017 12:06:27 смотрим на загрузки что видим :
out-2017-09-01T11:06:05.000+04:00.zip count=0
out-2017-09-01T11:36:02.000+04:00.zip count=0
out-2017-09-01T12:06:02.000+04:00.zip count=1
out-2017-09-01T12:36:05.000+04:00.zip count=1
по регламенту РКН минюст должен проверяться не ранее чем через час после включения в список,
остальное через сутки, здесь проверка сразу как только в список попала запись
2я запись - 34.229.86.135
01 Сен, 2017 14:04:20
out-2017-09-01T12:36:05.000+04:00.zip count=0
out-2017-09-01T13:36:10.000+04:00.zip count=0
out-2017-09-01T14:36:21.000+04:00.zip count=1
- так же проверяется раньше чем в списки попало.
01.09.2017
3й - ec2-34-229-86-135.compute-1.amazonaws.com
01 Сен, 2017 15:05:01
out-2017-09-01T12:36:05.000+04:00.zip count=0
out-2017-09-01T13:36:10.000+04:00.zip count=0
out-2017-09-01T14:36:21.000+04:00.zip count=1
- 29 минут между внесение и проверкой
4й - 54.89.203.243
01 Сен, 2017 15:05:03
out-2017-09-01T12:36:05.000+04:00.zip count=0
out-2017-09-01T13:36:10.000+04:00.zip count=0
out-2017-09-01T14:36:21.000+04:00.zip count=1
- так же 29 минут
по 29 минутам, проверьте как установлен параметр - timeout_check_new_bl, если 60 минут, то
поставьте интервал короче, timeout_check_new_bl=20
например, и сделайте релоад (service fastdpi reload)
17.08.17
http://kinoguru.co/film/valerian-i-gorod-tysyachi-planet-2017/96476
http://kinogo-2017-net.ru/valerian_i_gorod_tysyachi_planet_2017_13_08_2911
http://kinogo-2017-net.ru/valerian_i_gorod_tysyachi_planet_2017_10_08_2911
http://kinogo-2017-net.ru/valerian_i_gorod_tysyachi_planet_2017_11_08_2911
out-2017-08-17T12:36:01.000+04:00.zip count=1
out-2017-08-17T13:36:01.000+04:00.zip count=0
запрос от 16.08.17
2 УРЛ
http://mob.youtubehub.com/watch/kjgmAIBCoCg
http://mob.youtubehub.com/watch/301jJnQ-r8k
out-2017-08-16T10:36:02.000+04:00.zip count=1
out-2017-08-16T11:36:01.000+04:00.zip count=0
запрос от 20.07.17
42 УРЛ в частности :
http://lfilm.org/570-padenie-londona.html
http://www.film-4-you.com/2344-koroleva-ispanii-2016.html
http://seasonvarhd.kz/11-skaz-o-petre-i-fevronii.html
все исключены 19-го в 19:36 по МСК (+4 не обращайте внимание константа в коде):
out-2017-07-19T17:36:03.000+04:00.zip count=1
out-2017-07-19T19:36:01.000+04:00.zip count=0
05.07.2017 13:26 http://torrentigruha.net, 217.12.201.189,
GET Мосгорсуд 26.05.2017 14:33 200
./findurl.sh torrentigruha.net
out-2017-07-05T00:36:01.000+04:00.zip count=1
out-2017-07-05T11:36:01.000+04:00.zip count=1
out-2017-07-05T12:36:01.000+04:00.zip count=0
- Проверить в конфигурационном файле ''/etc/dpi/fastdpi.conf'' параметр ''black_list_sm'' сли он = 1, то услуга включена и блокировка работает не глобально для всех.
- На проверочном абоненте (IP/логин) убедиться, что услуга выключена:fdpi_ctrl list --service 4 --ip 192.168.1.60
Варианты вывода:\\ ''1/0/1'' - услуга удалена\\ ''1/1/0'' - услуга в наличии\\ \\ Result processing ip=192.168.1.60 : 1/0/1
— услуга выключена
- Установить в конфигурации ''/etc/dpi/fastdpi.conf'' IP-адрес отключенного абонента:trace_ip= После установки сделать релоад:service fastdpi reload
**Сделать запрос на тестовом ПК на ресурс metfen.com**\\ Проверяем в логе по тестовому сайту:grep -A5 metfen fastdpi_slave_?.log
или cat fastdpi_slave_?.log | grep metfen.com -A 5
Вывод: HTTP_HOST=_metfen.com_
HTTP_REFERER(0)=_null_
HTTP_USER-AGENT=_Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/43.0.2357.65 Safari/537.36_
HTTP_COOKIE=_null_
[TRACE ][001693490086826396][2888570700] CHECK_HTTP : URL=_/_
HTTP_HOST=_metfen.com_
HTTP_REFERER=_null_
blocked=0
new_prg_id=0
Как видно в выводе, ''blocked = 0'' (переадресации нет), ''new_prg_id=0'' (не подключено ни одной услуги). СКАТ — переадресацию/блокировку не проводит.
- Снять дамп обращений на запрещенный ресурс на отключенном абоненте. Например, с помощью ''fiddler''. Если перадресация осталась, то проблема на странице блокировке — отсутствует информация по ее кэшированию на стороне браузера, и браузер самостоятельно перенаправляет запрос без участия СКАТ.\\ Для того чтобы этого не происходило надо использовать:Cache-Control: max-age=0, no-cache, no-store, must-revalidate
Pragma: no-cache
Программа РКН проверяет в заглушке конкретную фразу. Если она содержится на странице, программа РКН отработает корректно.\\
Фразу можно оформить даже комментарием:
**Запрос:** Ревизор обнаружил доступной страницу https://vip-club-vulkan.net/ в отчете ревизора код — 409. Страница не загружается, но доступ присутствует.\\
**Действия:** проверить MTU на роутере до СКАТ DPI, проблема связана с фрагментацией пакетов и решается следующим образом — установка только ''hardware mtu'' (''jumbo frame'') не достаточна, в дополнение к нему необходимо выставить ''ip mtu'' на 1500. После этого сайт перестанет открываться и попадать в отчет Ревизора.
**Введение**
Роскомнадзор осуществляет переход на новый механизм забора списков в форме «дельт» (Описание ниже в разделе "Новый механизм выгрузки в форме «дельт»"). Для операторов, которые забирают списки с нашего облака, необходимо настроить СКАТ согласно инструкции. Для тех, кто подготавливает списки самостоятельно, необходимо внести изменения в свои алгоритмы.\\
На время перехода (2 недели) штрафы отменены, просьба уточнить все ИНН у своего куратора в РКН, для которых действует тестовый период.
**Инструкция по настройке СКАТ DPI**
- В конфигурационном файле ''/etc/dpi/fastdpi.conf'' установить (а если есть — изменить) следующие настройки:
#период проверки 1 минута
timeout_check_new_bl=1
- Сделать рестарт DPI сервиса в подходящее время
service fastdpi restart
- Проверить в файле ''fastdpi_alert.log'', расположенном в каталоге ''/var/log/dpi'' успешную загрузку списков раз в минуту или информацию о том, что список не изменился.
**Инструкция для выгрузки списков**
Списки в облаке загружаются из реестра РКН от имени ООО «ИТ-ГРАД» ИНН 7838413489
- Если вы [[dpi:dpi_options:opt_filtration:filtration_script|самостоятельно скачиваете списки]]
- Если вы используете [[dpi:dpi_options:opt_filtration:filtration_eds|услугу по забору списков в рамках поддержки]], то необходимо создать заявку на поддержку с указанием вашего логина и пароля (можно получить у куратора РКН). При размещении у нас будет предоставлен FTP доступ к архивам.
**Новый механизм выгрузки в форме «дельт»**
Роскомнадзор меняет способ авторизации, если раньше обязательно требовалась ЭЦП, что сильно затягивало процесс скачивания выгрузки, то теперь достаточно зайти в личный кабинет введя логин и пароль.\\
Основа нового механизма – форма «дельт», то есть изменения, которые внесены Роскомнадзором в данную выгрузку по сравнению с предыдущей. Причем обновления происходят не ежечасно, а только при внесении новых записей или изменении старых. Так как «дельта» значительно меньше всего реестра (около 200-300 ресурсов), то ее размещение для скачивания операторами связи происходит быстрее, чем раньше.\\
Операторы связи должны скачать «дельту» и загрузить ее в свою систему блокировки, которая должна поддерживать не только загрузку ежечасной выгрузки (как это делает по текущим правилам), но и такую облегченную инкрементальную версию списка.\\
Задача нового механизма – увеличить скорость реагирования операторов связи на требования о блокировании новых ресурсов или ресурсов, которые изменили свои адреса.
**Получение выгрузки**
Для оперативного получения изменений по выгрузке запрещенных ресурсов можно, как и раньше, использовать Веб-сервис. Теперь он работает как в базовом режиме получения полной выгрузки при каждом изменении, так и получение дельта-пакетов.\\
В любой момент времени возможно получение полной выгрузки, полное обновление правил фильтрации в соответствии с ней и переход в режим дельта-пакетов относительно данной выгрузки.\\
Каждый дельта-пакет имеет уникальный идентификатор и дату актуальности и представляет собой файл в формате xml, имеющий ту же структуру, что и основная выгрузка. Этот формат описан в Памятке оператору связи. Отличие в том, что в дельта-пакете присутствуют только новые и измененные записи. Также в дельта-пакете присутствуют теги ''delete'', в которых в качестве значения атрибута ''id'' указан идентификатор удаляемой реестровой записи. В результате при применении дельта-пакета необходимо выполнить следующие действия:
* Для каждого элемента ''content'' выполнить обновление или добавление реестровой записи.
* Для каждого элемента ''delete'' по значению атрибута ''id'' выполнить удаление реестровой записи.
Для проверки доступности облачных списков используйте вызов утилиты ''curl'' со следующими параметрами:
curl -A "user-agent: FastDPI_blcheck" -o /dev/nul https://www.vasexperts.ru/data/lastdump.zip
curl -v -o blacklist.dict https://vasexperts.ru/data/belarus/blacklist.dict
Есть возможность заставить DPI работать только по Вашему списку запрещенных ресурсов. Управляется работа с облачным/кастомным списком параметром ''[[dpi:dpi_options:opt_filtration:filtration_settings|federal_black_list]]''.
Асимметричная схема поддерживается, но не рекомендуется по следующим причинам:
- Нельзя будет использовать большую часть опций (например, аналитика требует входящий и исходящий поток для анализа протоколов и т.п.)
- Если трафик будет идти по схеме РКН, т.е. только по IP, попавшим в список, то это дополнительная точка отказа.
Редирект на страницу "Заглушку" выполняется при http запросах, для https это действие невозможно. Для этого нужно расшифровать трафик с помощью приватного ключа или корневого сертификата, поэтому осуществляется только блокировка трафика.
Собственные списки используются как отдельные, в дополнение к облачным (если сервис включен). Подробнее о параметрах - ''[[dpi:dpi_options:opt_filtration:filtration_settings|federal_black_list]]''.
Да. О настройке внешних каналов и подключения услуг разрешенных/блок листов — в описании [[dpi:dpi_options:opt_shaping:shaping_multi#настройка_черного_списка_-_4_услуга|4 услуги]].
Весь тегированный трафик, проходящий через DPI, будет профильтрован и при этом нет необходимости создавать какие либо виланы на самом DPI сервере. Создавать дополнительные VLAN нет необходимости
Данная схема фильтрации не поддерживается «из коробки», но вы можете организовать ее самостоятельно: так как DPI фильтрует не по IP, вам потребуется самостоятельно преобразовать хосты в IP-адреса, например:
#1
bin2ip /var/lib/dpi/blcacheip.bin > tmp.txt
#2
dic2host /var/lib/dpi/blcache.bin|dig +short -f -|grep -E '[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}' » tmp.txt\\
#3
sort -u tmp.txt > ip.lst
Отследить загрузку новых списков на DPI и запустить скрипты преобразования можно настроив ''incron'', а анонсировать маршруты можно через ''exabgp''.