Фильтрация по реестру запрещенных сайтов (услуга 4)
Внимание: списки выгружаются каждые 5 минут. Если появляются пропуски по Минюсту (Роскомнадзор может выгружать Ревизору раньше, чем появляется в списках), поставьте интервал короче, например timeout_check_new_bl=5 и сделайте релоад service fastdpi reload, это частично решает проблему (если в списках еще нет данных, мы заблокировать их не можем).
17.11.17 Проверка: 17.11.2017 15:18:47 УРЛ: http://54.165.182.92 out-2017-11-17T14:16:02.000+04:00.zip count=0 out-2017-11-17T15:16:02.000+04:00.zip count=1 проверка 2 мин, таймер обновления 5 минут, ревизор проверил раньше чем DPI загрузил новый список (1 час не было изменений в реестре)
12.10.17 Проверка: 12.10.2017 19:00:19 УРЛ: www.torrentok.org/kino/3514-intervyu_s_putinyim_2017.html out-2017-10-12T16:46:02.000+04:00.zip count=1 out-2017-10-12T17:16:04.000+04:00.zip count=0 Проверка: 12.10.2017 19:00:19 УРЛ: www.trackerok.com/tv/776976-intervyu_s_putinyim_The_Putin_Interviews_serii_1-4_iz_4_oliver_stoun_Oliver_Stone_2017_dokumentalnyiy_biografiya_HDTVRip_MVO_pervyiy_kanal.html out-2017-10-12T16:46:02.000+04:00.zip count=1 out-2017-10-12T17:16:04.000+04:00.zip count=0
11.10.17 Проверка: 11.10.2017 14:08:37 УРЛ: www.casinoz.su/casino out-2017-10-11T13:16:03.000+04:00.zip count=0 out-2017-10-11T14:16:04.000+04:00.zip count=1 проверка раньше получения выгрузки (1 час не было изменений в реестре)
04.10.17 Проверка: 04.10.2017 10:07 УРЛ: 54.226.8.111 out-2017-10-04T09:16:12.000+04:00.zip count=0 out-2017-10-04T09:31:04.000+04:00.zip count=1 Проверка: 02.10.2017 11:07 УРЛ: 34.234.71.76 out-2017-10-04T10:31:01.000+04:00.zip count=0 out-2017-10-04T10:46:03.000+04:00.zip count=1 Проверка: 02.10.2017 12:07 УРЛ: 54.90.155.13 out-2017-10-04T11:16:03.000+04:00.zip count=0 out-2017-10-04T11:46:30.000+04:00.zip count=1 Проверка: 02.10.2017 14:07 УРЛ: 54.164.174.66 out-2017-10-04T13:16:04.000+04:00.zip count=0 out-2017-10-04T13:46:04.000+04:00.zip count=1 Проверка: 02.10.2017 15:07 УРЛ: 34.227.192.56 out-2017-10-04T14:31:02.000+04:00.zip count=0 out-2017-10-04T15:01:03.000+04:00.zip count=1 Проверка: 02.10.2017 17:07 УРЛ: 54.166.200.6 out-2017-10-04T16:16:05.000+04:00.zip count=0 out-2017-10-04T17:01:21.000+04:00.zip count=1 => укоротите timeout_check_new_bl до 5 или 1 минуты РКН не выдерживает регламент в 1 час, поверяют "немедленно"
02.10.17 Проверка: 02.10.2017 19:43 - 19:50 УРЛ: www.footballalmanax.com, football-plyus.net, hdkino.info/917-film-gogol-nachalo-2017-a.html, hdzal.net out-2017-10-02T16:16:12.000+04:00.zip count=1 out-2017-10-02T17:02:05.000+04:00.zip count=0 Исключены в 17:01 - проверка в 19:40+
28.09.17 Проверка: 28.09.2017 15:31:29 УРЛ: showtv-online.com/serial/1562-gogol-2016.html out-2017-09-28T13:31:02.000+04:00.zip count=1 out-2017-09-28T14:01:06.000+04:00.zip count=0 (ресурс исключен к моменту проверки) Проверка: 28.09.2017 15:16:23 УРЛ: http://52.23.202.135 out-2017-09-28T14:16:02.000+04:00.zip count=0 out-2017-09-28T15:01:02.000+04:00.zip count=1 ( не выполнен регламент 1 час на ревизоре ) Проверка: 28.09.2017 14:17:59 УРЛ: http://34.229.145.60 out-2017-09-28T13:31:02.000+04:00.zip count=0 out-2017-09-28T14:01:06.000+04:00.zip count=1 ( не выполнен регламент 1 час на ревизоре )
22.09.17 Проверка: 22.09.2017 11:06:34 УРЛ: 34.229.216.98 out-2017-09-22T10:16:03.000+04:00.zip count=0 out-2017-09-22T10:46:03.000+04:00.zip count=1 (см.выше timeout_check_new_bl=20, возможно даже еще короче интервал нужен в данном случае ревизор не выдерживает интервал в 1 час от появления в списе по регламенту)
21.09.17 Проверка: 21.09.2017 10:39:35 УРЛ: 34.228.15.210 out-2017-09-21T09:16:04.000+04:00.zip count=0 out-2017-09-21T09:46:03.000+04:00.zip count=1 (см.выше timeout_check_new_bl=20) Проверка: 21.09.2017 13:56 УРЛ: knigian.net/sovremennaya-proza/duh-69-go-bibliya-skinheda.html out-2017-09-21T07:16:02.000+04:00.zip count=1 out-2017-09-21T08:16:10.000+04:00.zip count=0 (проверка ревизором после удаления) Проверка: 21.09.2017 17:19 УРЛ: 54.227.110.18 out-2017-09-21T16:16:03.000+04:00.zip count=0 out-2017-09-21T16:46:03.000+04:00.zip count=1 (см.выше timeout_check_new_bl=20)
20.09.17 Проверка: 20.09.2017 16:15 УРЛ: http://34.229.88.50 out-2017-09-20T15:16:04.000+04:00.zip count=0 out-2017-09-20T15:46:03.000+04:00.zip count=1 (см. выше стоит обновление 60 минут по умолчанию) Проверка: 20.09.2017 18:16, 18:21 УРЛ: http://54.211.124.53 out-2017-09-20T17:16:04.000+04:00.zip count=0 out-2017-09-20T17:46:02.000+04:00.zip count=1 (регламент 1 час после включения в список) Проверка: 20.09.2017 с 16:39 по 18:43 УРЛ: http://kinoluvr.net/4670-671-molodezhka-vzroslaya-zhizn-5-sezon-15-09-2017.html out-2017-09-20T12:31:02.000+04:00.zip count=1 out-2017-09-20T12:46:04.000+04:00.zip count=0 (исключен) Проверка: 20.09.2017 13:38 УРЛ: http://54.172.95.171 out-2017-09-20T12:31:02.000+04:00.zip count=0 out-2017-09-20T12:46:04.000+04:00.zip count=1 (см. выше стоит обновление 60 минут по умолчанию)
19.09.2017 Проверка: 19.09.2017 14:15 УРЛ: http://34.227.9.241 out-2017-09-19T13:16:03.000+04:00.zip count=0 out-2017-09-19T14:16:05.000+04:00.zip count=1
18.09.17 Проверка: 18.09.2017 16:14 УРЛ: http://m-ki.ru/film/2146-gogol-nachalo.html Фактическое удаление из списков: out-2017-09-18T12:16:04.000+04:00.zip count=1 out-2017-09-18T13:31:02.000+04:00.zip count=0 Проверка: 18.09.2017 09:08:24 УРЛ: http://54.85.35.113 Фактическое появление в списках: out-2017-09-18T09:16:03.000+04:00.zip count=0 out-2017-09-18T09:46:02.000+04:00.zip count=1 Проверка: 18.09.2017 10:05:40 УРЛ: http://34.224.100.15 Фактическое появление в списках: out-2017-09-18T10:16:05.000+04:00.zip count=0 out-2017-09-18T10:31:01.000+04:00.zip count=1
15.09.17 Проверка: 15.09.2017 10:06:07 УРЛ: http://54.86.157.113 Фактическое появление в списках: out-2017-09-15T10:16:02.000+04:00.zip count=0 out-2017-09-15T10:46:02.000+04:00.zip count=1 Проверка: 15.09.2017 13:05:58 УРЛ: http://54.164.151.203 Фактическое появление в списках: out-2017-09-15T13:16:03.000+04:00.zip count=0 out-2017-09-15T13:46:02.000+04:00.zip count=1
14.09.17 Проверка: 14.09.2017 09:06:28 УРЛ: http://54.174.78.70 Фактическое появление в списках: out-2017-09-14T09:31:02.000+04:00.zip count=0 out-2017-09-14T10:01:02.000+04:00.zip count=1
13.09.17 Проверка: 13.09.2017 09:06:31 УРЛ: http://34.230.70.64 Фактическое появление в списках: out-2017-09-13T09:16:02.000+04:00.zip count=0 out-2017-09-13T09:31:02.000+04:00.zip count=1
12.09.17 Проверка: 12.09.2017 11:05:57 УРЛ: http://34.204.42.8 Фактическое появление в списках: out-2017-09-12T11:16:03.000+04:00.zip count=0 out-2017-09-12T11:46:02.000+04:00.zip count=1 Проверка: 12.09.2017 13:05:42 УРЛ: http://54.152.145.250 Фактическое появление в списках: out-2017-09-12T13:31:01.000+04:00.zip count=0 out-2017-09-12T13:46:24.000+04:00.zip count=1 Проверка: 12.09.2017 16:06:03 УРЛ: http://34.227.75.113 Фактическое появление в списках: out-2017-09-12T16:16:04.000+04:00.zip count=0 out-2017-09-12T17:01:01.000+04:00.zip count=1 Проверка: 12.09.2017 18:05:20 УРЛ: http://34.201.106.78 Фактическое появление в списках: out-2017-09-12T17:16:02.000+04:00.zip count=0 out-2017-09-12T18:31:01.000+04:00.zip count=1
11.09.17 Проверка: 11.09.2017 12:05:48 УРЛ: http://34.207.144.151 Фактическое появление в списках: out-2017-09-11T12:16:04.000+04:00.zip count=0 out-2017-09-11T12:31:53.000+04:00.zip count=1
08.09.17 Проверка: 08.09.2017 10:03:44 УРЛ: http://54.221.189.235 Фактическое появление в списках: out-2017-09-08T10:31:02.000+04:00.zip count=0 out-2017-09-08T11:01:02.000+04:00.zip count=1 Проверка: 08.09.2017 11:04:24 УРЛ: http://52.23.188.19 Фактическое появление в списках: out-2017-09-08T11:01:02.000+04:00.zip count=0 out-2017-09-08T12:31:38.000+04:00.zip count=1 Проверка: 08.09.2017 12:03:25 УРЛ: http://54.84.44.85 Фактическое появление в списках: out-2017-09-08T12:46:12.000+04:00.zip count=0 out-2017-09-08T13:01:01.000+04:00.zip count=1 Проверка: 08.09.2017 13:04:51 УРЛ: http://54.157.61.39 Фактическое появление в списках: out-2017-09-08T13:16:01.000+04:00.zip count=0 out-2017-09-08T14:16:01.000+04:00.zip count=1
07.09.17 Проверка: 07.09.2017 17:04:29 УРЛ: http://54.174.168.240 Фактическое появление в списках: out-2017-09-07T16:16:02.000+04:00.zip count=0 out-2017-09-07T16:31:02.000+04:00.zip count=1 Проверка: 07.09.2017 18:05:38 УРЛ: http://34.227.46.204 Фактическое появление в списках: out-2017-09-07T17:16:03.000+04:00.zip count=0 out-2017-09-07T18:16:01.000+04:00.zip count=1
06.09.2017 Проверка: 06.09.2017 10:05:11 УРЛ: http://34.226.197.34 Фактическое появление в списках: out-2017-09-06T09:46:02.000+04:00.zip count=0 out-2017-09-06T10:01:02.000+04:00.zip count=1
05.09.2017 Проверка: 05.09.2017 11:08:18 УРЛ: http://ec2-34-228-39-201.compute-1.amazonaws.com Фактическое появление в списках: out-2017-09-05T11:36:01.000+04:00.zip count=0 out-2017-09-05T12:06:02.000+04:00.zip count=0 out-2017-09-05T13:06:29.000+04:00.zip count=1
04.09.2017 Проверка: 04.09.2017 11:03:04 УРЛ: http://54.173.161.204 out-2017-09-04T10:06:03.000+04:00.zip count=0 out-2017-09-04T11:06:02.000+04:00.zip count=1 +Проверка: 04.09.2017 11:05:04 УРЛ: http://54.173.161.204 out-2017-09-04T10:06:03.000+04:00.zip count=0 out-2017-09-04T11:06:02.000+04:00.zip count=1 по сути проверка ревизором прошло за минуту до появления в списке, т.к. промежуточный 30 мин. не изменялся
01.09.2017 запись - http://54.165.100.190, 54.165. 100.190, GET нарушение зафиксировано 01 Сен, 2017 12:06:27 смотрим на загрузки что видим : out-2017-09-01T11:06:05.000+04:00.zip count=0 out-2017-09-01T11:36:02.000+04:00.zip count=0 out-2017-09-01T12:06:02.000+04:00.zip count=1 out-2017-09-01T12:36:05.000+04:00.zip count=1 по регламенту РКН минюст должен проверяться не ранее чем через час после включения в список, остальное через сутки, здесь проверка сразу как только в список попала запись 2я запись - 34.229.86.135 01 Сен, 2017 14:04:20 out-2017-09-01T12:36:05.000+04:00.zip count=0 out-2017-09-01T13:36:10.000+04:00.zip count=0 out-2017-09-01T14:36:21.000+04:00.zip count=1 - так же проверяется раньше чем в списки попало.
01.09.2017 3й - ec2-34-229-86-135.compute-1.amazonaws.com 01 Сен, 2017 15:05:01 out-2017-09-01T12:36:05.000+04:00.zip count=0 out-2017-09-01T13:36:10.000+04:00.zip count=0 out-2017-09-01T14:36:21.000+04:00.zip count=1 - 29 минут между внесение и проверкой 4й - 54.89.203.243 01 Сен, 2017 15:05:03 out-2017-09-01T12:36:05.000+04:00.zip count=0 out-2017-09-01T13:36:10.000+04:00.zip count=0 out-2017-09-01T14:36:21.000+04:00.zip count=1 - так же 29 минут по 29 минутам, проверьте как установлен параметр - timeout_check_new_bl, если 60 минут, то поставьте интервал короче, timeout_check_new_bl=20 например, и сделайте релоад (service fastdpi reload)
17.08.17 http://kinoguru.co/film/valerian-i-gorod-tysyachi-planet-2017/96476 http://kinogo-2017-net.ru/valerian_i_gorod_tysyachi_planet_2017_13_08_2911 http://kinogo-2017-net.ru/valerian_i_gorod_tysyachi_planet_2017_10_08_2911 http://kinogo-2017-net.ru/valerian_i_gorod_tysyachi_planet_2017_11_08_2911 out-2017-08-17T12:36:01.000+04:00.zip count=1 out-2017-08-17T13:36:01.000+04:00.zip count=0
запрос от 16.08.17 2 УРЛ http://mob.youtubehub.com/watch/kjgmAIBCoCg http://mob.youtubehub.com/watch/301jJnQ-r8k out-2017-08-16T10:36:02.000+04:00.zip count=1 out-2017-08-16T11:36:01.000+04:00.zip count=0
запрос от 20.07.17 42 УРЛ в частности : http://lfilm.org/570-padenie-londona.html http://www.film-4-you.com/2344-koroleva-ispanii-2016.html http://seasonvarhd.kz/11-skaz-o-petre-i-fevronii.html все исключены 19-го в 19:36 по МСК (+4 не обращайте внимание константа в коде): out-2017-07-19T17:36:03.000+04:00.zip count=1 out-2017-07-19T19:36:01.000+04:00.zip count=0
05.07.2017 13:26 http://torrentigruha.net, 217.12.201.189, GET Мосгорсуд 26.05.2017 14:33 200 ./findurl.sh torrentigruha.net out-2017-07-05T00:36:01.000+04:00.zip count=1 out-2017-07-05T11:36:01.000+04:00.zip count=1 out-2017-07-05T12:36:01.000+04:00.zip count=0
- Проверить в конфигурационном файле
/etc/dpi/fastdpi.confпараметрblack_list_smсли он = 1, то услуга включена и блокировка работает не глобально для всех. - На проверочном абоненте (IP/логин) убедиться, что услуга выключена:
fdpi_ctrl list --service 4 --ip 192.168.1.60
Варианты вывода:
1/0/1- услуга удалена
1/1/0- услуга в наличии
Result processing ip=192.168.1.60 : 1/0/1
— услуга выключена
- Установить в конфигурации
/etc/dpi/fastdpi.confIP-адрес отключенного абонента:<codу bash>trace_ip=<IP></code> После установки сделать релоад:service fastdpi reload
Сделать запрос на тестовом ПК на ресурс metfen.com
Проверяем в логе по тестовому сайту:grep -A5 metfen fastdpi_slave_?.log
или
cat fastdpi_slave_?.log | grep metfen.com -A 5
Вывод:
HTTP_HOST=_metfen.com_ HTTP_REFERER(0)=_null_ HTTP_USER-AGENT=_Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.65 Safari/537.36_ HTTP_COOKIE=_null_ [TRACE ][001693490086826396][2888570700] CHECK_HTTP : URL=_/_ HTTP_HOST=_metfen.com_ HTTP_REFERER=_null_ blocked=0 new_prg_id=0
Как видно в выводе,
blocked = 0(переадресации нет),new_prg_id=0(не подключено ни одной услуги). СКАТ — переадресацию/блокировку не проводит. - Снять дамп обращений на запрещенный ресурс на отключенном абоненте. Например, с помощью
fiddler. Если перадресация осталась, то проблема на странице блокировке — отсутствует информация по ее кэшированию на стороне браузера, и браузер самостоятельно перенаправляет запрос без участия СКАТ.
Для того чтобы этого не происходило надо использовать:Cache-Control: max-age=0, no-cache, no-store, must-revalidate Pragma: no-cache
Программа РКН проверяет в заглушке конкретную фразу. Если она содержится на странице, программа РКН отработает корректно.
Фразу можно оформить даже комментарием:
<!-- <title>Доступ ограничен</title> -->
Запрос: Ревизор обнаружил доступной страницу https://vip-club-vulkan.net/ в отчете ревизора код — 409. Страница не загружается, но доступ присутствует.
Действия: проверить MTU на роутере до СКАТ DPI, проблема связана с фрагментацией пакетов и решается следующим образом — установка только hardware mtu (jumbo frame) не достаточна, в дополнение к нему необходимо выставить ip mtu на 1500. После этого сайт перестанет открываться и попадать в отчет Ревизора.
Введение
Роскомнадзор осуществляет переход на новый механизм забора списков в форме «дельт» (Описание ниже в разделе "Новый механизм выгрузки в форме «дельт»"). Для операторов, которые забирают списки с нашего облака, необходимо настроить СКАТ согласно инструкции. Для тех, кто подготавливает списки самостоятельно, необходимо внести изменения в свои алгоритмы.
На время перехода (2 недели) штрафы отменены, просьба уточнить все ИНН у своего куратора в РКН, для которых действует тестовый период.
Инструкция по настройке СКАТ DPI
- В конфигурационном файле
/etc/dpi/fastdpi.confустановить (а если есть — изменить) следующие настройки:#период проверки 1 минута timeout_check_new_bl=1
- Сделать рестарт DPI сервиса в подходящее время
service fastdpi restart
- Проверить в файле
fastdpi_alert.log, расположенном в каталоге/var/log/dpiуспешную загрузку списков раз в минуту или информацию о том, что список не изменился.
Инструкция для выгрузки списков
Списки в облаке загружаются из реестра РКН от имени ООО «ИТ-ГРАД» ИНН 7838413489
- Если вы самостоятельно скачиваете списки
- Если вы используете услугу по забору списков в рамках поддержки, то необходимо создать заявку на поддержку с указанием вашего логина и пароля (можно получить у куратора РКН). При размещении у нас будет предоставлен FTP доступ к архивам.
Новый механизм выгрузки в форме «дельт»
Роскомнадзор меняет способ авторизации, если раньше обязательно требовалась ЭЦП, что сильно затягивало процесс скачивания выгрузки, то теперь достаточно зайти в личный кабинет введя логин и пароль.
Основа нового механизма – форма «дельт», то есть изменения, которые внесены Роскомнадзором в данную выгрузку по сравнению с предыдущей. Причем обновления происходят не ежечасно, а только при внесении новых записей или изменении старых. Так как «дельта» значительно меньше всего реестра (около 200-300 ресурсов), то ее размещение для скачивания операторами связи происходит быстрее, чем раньше.
Операторы связи должны скачать «дельту» и загрузить ее в свою систему блокировки, которая должна поддерживать не только загрузку ежечасной выгрузки (как это делает по текущим правилам), но и такую облегченную инкрементальную версию списка.
Задача нового механизма – увеличить скорость реагирования операторов связи на требования о блокировании новых ресурсов или ресурсов, которые изменили свои адреса.
Получение выгрузки
Для оперативного получения изменений по выгрузке запрещенных ресурсов можно, как и раньше, использовать Веб-сервис. Теперь он работает как в базовом режиме получения полной выгрузки при каждом изменении, так и получение дельта-пакетов.
В любой момент времени возможно получение полной выгрузки, полное обновление правил фильтрации в соответствии с ней и переход в режим дельта-пакетов относительно данной выгрузки.
Каждый дельта-пакет имеет уникальный идентификатор и дату актуальности и представляет собой файл в формате xml, имеющий ту же структуру, что и основная выгрузка. Этот формат описан в Памятке оператору связи. Отличие в том, что в дельта-пакете присутствуют только новые и измененные записи. Также в дельта-пакете присутствуют теги delete, в которых в качестве значения атрибута id указан идентификатор удаляемой реестровой записи. В результате при применении дельта-пакета необходимо выполнить следующие действия:
- Для каждого элемента
contentвыполнить обновление или добавление реестровой записи. - Для каждого элемента
deleteпо значению атрибутаidвыполнить удаление реестровой записи.
Для проверки доступности облачных списков используйте вызов утилиты curl со следующими параметрами:
curl -A "user-agent: FastDPI_blcheck" -o /dev/nul https://www.vasexperts.ru/data/lastdump.zip
curl -v -o blacklist.dict https://vasexperts.ru/data/belarus/blacklist.dict
Есть возможность заставить DPI работать только по Вашему списку запрещенных ресурсов. Управляется работа с облачным/кастомным списком параметром federal_black_list.
Асимметричная схема поддерживается, но не рекомендуется по следующим причинам:
- Нельзя будет использовать большую часть опций (например, аналитика требует входящий и исходящий поток для анализа протоколов и т.п.)
- Если трафик будет идти по схеме РКН, т.е. только по IP, попавшим в список, то это дополнительная точка отказа.
Редирект на страницу "Заглушку" выполняется при http запросах, для https это действие невозможно. Для этого нужно расшифровать трафик с помощью приватного ключа или корневого сертификата, поэтому осуществляется только блокировка трафика.
Собственные списки используются как отдельные, в дополнение к облачным (если сервис включен). Подробнее о параметрах - federal_black_list.
Да. О настройке внешних каналов и подключения услуг разрешенных/блок листов — в описании 4 услуги.
Весь тегированный трафик, проходящий через DPI, будет профильтрован и при этом нет необходимости создавать какие либо виланы на самом DPI сервере. Создавать дополнительные VLAN нет необходимости
Данная схема фильтрации не поддерживается «из коробки», но вы можете организовать ее самостоятельно: так как DPI фильтрует не по IP, вам потребуется самостоятельно преобразовать хосты в IP-адреса, например:
#1 bin2ip /var/lib/dpi/blcacheip.bin > tmp.txt #2 dic2host /var/lib/dpi/blcache.bin|dig +short -f -|grep -E '[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}' » tmp.txt\\ #3 sort -u tmp.txt > ip.lst
Отследить загрузку новых списков на DPI и запустить скрипты преобразования можно настроив incron, а анонсировать маршруты можно через exabgp.