Фильтрация по реестру запрещенных сайтов (услуга 4)

Описание продукта

Внимание:timeout_check_new_bl=5service fastdpi reload

17.11.17
Проверка: 17.11.2017 15:18:47
УРЛ: http://54.165.182.92
out-2017-11-17T14:16:02.000+04:00.zip count=0
out-2017-11-17T15:16:02.000+04:00.zip count=1
проверка 2 мин, таймер обновления 5 минут, ревизор проверил раньше чем DPI
загрузил новый список (1 час не было изменений в реестре)

12.10.17
Проверка: 12.10.2017 19:00:19
УРЛ: www.torrentok.org/kino/3514-intervyu_s_putinyim_2017.html
out-2017-10-12T16:46:02.000+04:00.zip count=1
out-2017-10-12T17:16:04.000+04:00.zip count=0
Проверка: 12.10.2017 19:00:19
УРЛ: www.trackerok.com/tv/776976-intervyu_s_putinyim_The_Putin_Interviews_serii_1-4_iz_4_oliver_stoun_Oliver_Stone_2017_dokumentalnyiy_biografiya_HDTVRip_MVO_pervyiy_kanal.html
out-2017-10-12T16:46:02.000+04:00.zip count=1
out-2017-10-12T17:16:04.000+04:00.zip count=0

11.10.17
Проверка: 11.10.2017 14:08:37
УРЛ: www.casinoz.su/casino
out-2017-10-11T13:16:03.000+04:00.zip count=0
out-2017-10-11T14:16:04.000+04:00.zip count=1
проверка раньше получения выгрузки (1 час не было изменений в реестре)

04.10.17
Проверка: 04.10.2017 10:07
УРЛ: 54.226.8.111
out-2017-10-04T09:16:12.000+04:00.zip count=0
out-2017-10-04T09:31:04.000+04:00.zip count=1
Проверка: 02.10.2017 11:07
УРЛ: 34.234.71.76
out-2017-10-04T10:31:01.000+04:00.zip count=0
out-2017-10-04T10:46:03.000+04:00.zip count=1
Проверка: 02.10.2017 12:07
УРЛ: 54.90.155.13
out-2017-10-04T11:16:03.000+04:00.zip count=0
out-2017-10-04T11:46:30.000+04:00.zip count=1
Проверка: 02.10.2017 14:07
УРЛ: 54.164.174.66
out-2017-10-04T13:16:04.000+04:00.zip count=0
out-2017-10-04T13:46:04.000+04:00.zip count=1
Проверка: 02.10.2017 15:07
УРЛ: 34.227.192.56
out-2017-10-04T14:31:02.000+04:00.zip count=0
out-2017-10-04T15:01:03.000+04:00.zip count=1
Проверка: 02.10.2017 17:07
УРЛ: 54.166.200.6
out-2017-10-04T16:16:05.000+04:00.zip count=0
out-2017-10-04T17:01:21.000+04:00.zip count=1
=> укоротите timeout_check_new_bl до 5 или 1 минуты
РКН не выдерживает регламент в 1 час, поверяют "немедленно"

02.10.17
Проверка: 02.10.2017 19:43 - 19:50
УРЛ: www.footballalmanax.com, football-plyus.net, hdkino.info/917-film-gogol-nachalo-2017-a.html, hdzal.net
out-2017-10-02T16:16:12.000+04:00.zip count=1
out-2017-10-02T17:02:05.000+04:00.zip count=0
Исключены в 17:01 - проверка в 19:40+

28.09.17
Проверка: 28.09.2017 15:31:29
УРЛ: showtv-online.com/serial/1562-gogol-2016.html
out-2017-09-28T13:31:02.000+04:00.zip count=1
out-2017-09-28T14:01:06.000+04:00.zip count=0
(ресурс исключен к моменту проверки)
Проверка: 28.09.2017 15:16:23
УРЛ: http://52.23.202.135
out-2017-09-28T14:16:02.000+04:00.zip count=0
out-2017-09-28T15:01:02.000+04:00.zip count=1
( не выполнен регламент 1 час на ревизоре )
Проверка: 28.09.2017 14:17:59
УРЛ: http://34.229.145.60
out-2017-09-28T13:31:02.000+04:00.zip count=0
out-2017-09-28T14:01:06.000+04:00.zip count=1
( не выполнен регламент 1 час на ревизоре )

22.09.17
Проверка: 22.09.2017 11:06:34
УРЛ: 34.229.216.98
out-2017-09-22T10:16:03.000+04:00.zip count=0
out-2017-09-22T10:46:03.000+04:00.zip count=1
(см.выше timeout_check_new_bl=20, возможно даже еще короче интервал нужен в данном случае
ревизор не выдерживает интервал в 1 час от появления в списе по регламенту)

21.09.17
Проверка: 21.09.2017 10:39:35
УРЛ: 34.228.15.210
out-2017-09-21T09:16:04.000+04:00.zip count=0
out-2017-09-21T09:46:03.000+04:00.zip count=1
(см.выше timeout_check_new_bl=20)
Проверка: 21.09.2017 13:56
УРЛ: knigian.net/sovremennaya-proza/duh-69-go-bibliya-skinheda.html
out-2017-09-21T07:16:02.000+04:00.zip count=1
out-2017-09-21T08:16:10.000+04:00.zip count=0
(проверка ревизором после удаления)
Проверка: 21.09.2017 17:19
УРЛ: 54.227.110.18
out-2017-09-21T16:16:03.000+04:00.zip count=0
out-2017-09-21T16:46:03.000+04:00.zip count=1
(см.выше timeout_check_new_bl=20)

20.09.17
Проверка: 20.09.2017 16:15
УРЛ: http://34.229.88.50
out-2017-09-20T15:16:04.000+04:00.zip count=0
out-2017-09-20T15:46:03.000+04:00.zip count=1
(см. выше стоит обновление 60 минут по умолчанию)
Проверка: 20.09.2017 18:16, 18:21
УРЛ: http://54.211.124.53
out-2017-09-20T17:16:04.000+04:00.zip count=0
out-2017-09-20T17:46:02.000+04:00.zip count=1
(регламент 1 час после включения в список)
Проверка: 20.09.2017 с 16:39 по 18:43
УРЛ: http://kinoluvr.net/4670-671-molodezhka-vzroslaya-zhizn-5-sezon-15-09-2017.html
out-2017-09-20T12:31:02.000+04:00.zip count=1
out-2017-09-20T12:46:04.000+04:00.zip count=0
(исключен)
Проверка: 20.09.2017 13:38
УРЛ: http://54.172.95.171
out-2017-09-20T12:31:02.000+04:00.zip count=0
out-2017-09-20T12:46:04.000+04:00.zip count=1
(см. выше стоит обновление 60 минут по умолчанию)

19.09.2017
Проверка: 19.09.2017 14:15
УРЛ: http://34.227.9.241
out-2017-09-19T13:16:03.000+04:00.zip count=0
out-2017-09-19T14:16:05.000+04:00.zip count=1

18.09.17
Проверка: 18.09.2017 16:14
УРЛ: http://m-ki.ru/film/2146-gogol-nachalo.html
Фактическое удаление из списков:
out-2017-09-18T12:16:04.000+04:00.zip count=1
out-2017-09-18T13:31:02.000+04:00.zip count=0
Проверка: 18.09.2017 09:08:24
УРЛ: http://54.85.35.113
Фактическое появление в списках:
out-2017-09-18T09:16:03.000+04:00.zip count=0
out-2017-09-18T09:46:02.000+04:00.zip count=1
Проверка: 18.09.2017 10:05:40
УРЛ: http://34.224.100.15
Фактическое появление в списках:
out-2017-09-18T10:16:05.000+04:00.zip count=0
out-2017-09-18T10:31:01.000+04:00.zip count=1

15.09.17
Проверка: 15.09.2017 10:06:07
УРЛ: http://54.86.157.113
Фактическое появление в списках:
out-2017-09-15T10:16:02.000+04:00.zip count=0
out-2017-09-15T10:46:02.000+04:00.zip count=1
Проверка: 15.09.2017 13:05:58
УРЛ: http://54.164.151.203
Фактическое появление в списках:
out-2017-09-15T13:16:03.000+04:00.zip count=0
out-2017-09-15T13:46:02.000+04:00.zip count=1

14.09.17
Проверка: 14.09.2017 09:06:28
УРЛ: http://54.174.78.70
Фактическое появление в списках:
out-2017-09-14T09:31:02.000+04:00.zip count=0
out-2017-09-14T10:01:02.000+04:00.zip count=1

13.09.17
Проверка: 13.09.2017 09:06:31
УРЛ: http://34.230.70.64
Фактическое появление в списках:
out-2017-09-13T09:16:02.000+04:00.zip count=0
out-2017-09-13T09:31:02.000+04:00.zip count=1

12.09.17
Проверка: 12.09.2017 11:05:57
УРЛ: http://34.204.42.8
Фактическое появление в списках:
out-2017-09-12T11:16:03.000+04:00.zip count=0
out-2017-09-12T11:46:02.000+04:00.zip count=1
Проверка: 12.09.2017 13:05:42
УРЛ: http://54.152.145.250
Фактическое появление в списках:
out-2017-09-12T13:31:01.000+04:00.zip count=0
out-2017-09-12T13:46:24.000+04:00.zip count=1
Проверка: 12.09.2017 16:06:03
УРЛ: http://34.227.75.113
Фактическое появление в списках:
out-2017-09-12T16:16:04.000+04:00.zip count=0
out-2017-09-12T17:01:01.000+04:00.zip count=1
Проверка: 12.09.2017 18:05:20
УРЛ: http://34.201.106.78
Фактическое появление в списках:
out-2017-09-12T17:16:02.000+04:00.zip count=0
out-2017-09-12T18:31:01.000+04:00.zip count=1

11.09.17
Проверка: 11.09.2017 12:05:48
УРЛ: http://34.207.144.151
Фактическое появление в списках:
out-2017-09-11T12:16:04.000+04:00.zip count=0
out-2017-09-11T12:31:53.000+04:00.zip count=1

08.09.17
Проверка: 08.09.2017 10:03:44
УРЛ: http://54.221.189.235
Фактическое появление в списках:
out-2017-09-08T10:31:02.000+04:00.zip count=0
out-2017-09-08T11:01:02.000+04:00.zip count=1
Проверка: 08.09.2017 11:04:24
УРЛ: http://52.23.188.19
Фактическое появление в списках:
out-2017-09-08T11:01:02.000+04:00.zip count=0
out-2017-09-08T12:31:38.000+04:00.zip count=1
Проверка: 08.09.2017 12:03:25
УРЛ: http://54.84.44.85
Фактическое появление в списках:
out-2017-09-08T12:46:12.000+04:00.zip count=0
out-2017-09-08T13:01:01.000+04:00.zip count=1
Проверка: 08.09.2017 13:04:51
УРЛ: http://54.157.61.39
Фактическое появление в списках:
out-2017-09-08T13:16:01.000+04:00.zip count=0
out-2017-09-08T14:16:01.000+04:00.zip count=1

07.09.17
Проверка: 07.09.2017 17:04:29
УРЛ: http://54.174.168.240
Фактическое появление в списках:
out-2017-09-07T16:16:02.000+04:00.zip count=0
out-2017-09-07T16:31:02.000+04:00.zip count=1
Проверка: 07.09.2017 18:05:38
УРЛ: http://34.227.46.204
Фактическое появление в списках:
out-2017-09-07T17:16:03.000+04:00.zip count=0
out-2017-09-07T18:16:01.000+04:00.zip count=1

06.09.2017
Проверка: 06.09.2017 10:05:11
УРЛ: http://34.226.197.34
Фактическое появление в списках:
out-2017-09-06T09:46:02.000+04:00.zip count=0
out-2017-09-06T10:01:02.000+04:00.zip count=1

05.09.2017
Проверка: 05.09.2017 11:08:18
УРЛ: http://ec2-34-228-39-201.compute-1.amazonaws.com
Фактическое появление в списках:
out-2017-09-05T11:36:01.000+04:00.zip count=0
out-2017-09-05T12:06:02.000+04:00.zip count=0
out-2017-09-05T13:06:29.000+04:00.zip count=1

04.09.2017
Проверка: 04.09.2017 11:03:04
УРЛ: http://54.173.161.204
out-2017-09-04T10:06:03.000+04:00.zip count=0
out-2017-09-04T11:06:02.000+04:00.zip count=1
+Проверка: 04.09.2017 11:05:04
УРЛ: http://54.173.161.204
out-2017-09-04T10:06:03.000+04:00.zip count=0
out-2017-09-04T11:06:02.000+04:00.zip count=1
по сути проверка ревизором прошло за минуту до появления в списке, т.к. промежуточный 30 мин. не изменялся

01.09.2017
запись - http://54.165.100.190, 54.165. 100.190, GET
нарушение зафиксировано 01 Сен, 2017 12:06:27 смотрим на загрузки что видим :
out-2017-09-01T11:06:05.000+04:00.zip count=0
out-2017-09-01T11:36:02.000+04:00.zip count=0
out-2017-09-01T12:06:02.000+04:00.zip count=1
out-2017-09-01T12:36:05.000+04:00.zip count=1
по регламенту РКН минюст должен проверяться не ранее чем через час после включения в список,
остальное через сутки, здесь проверка сразу как только в список попала запись
2я запись - 34.229.86.135
01 Сен, 2017 14:04:20
out-2017-09-01T12:36:05.000+04:00.zip count=0
out-2017-09-01T13:36:10.000+04:00.zip count=0
out-2017-09-01T14:36:21.000+04:00.zip count=1
- так же проверяется раньше чем в списки попало.

01.09.2017
3й - ec2-34-229-86-135.compute-1.amazonaws.com
01 Сен, 2017 15:05:01
out-2017-09-01T12:36:05.000+04:00.zip count=0
out-2017-09-01T13:36:10.000+04:00.zip count=0
out-2017-09-01T14:36:21.000+04:00.zip count=1
- 29 минут между внесение и проверкой
4й - 54.89.203.243
01 Сен, 2017 15:05:03
out-2017-09-01T12:36:05.000+04:00.zip count=0
out-2017-09-01T13:36:10.000+04:00.zip count=0
out-2017-09-01T14:36:21.000+04:00.zip count=1
- так же 29 минут
по 29 минутам, проверьте как установлен параметр - timeout_check_new_bl, если 60 минут, то
поставьте интервал короче, timeout_check_new_bl=20
например, и сделайте релоад (service fastdpi reload)

17.08.17
http://kinoguru.co/film/valerian-i-gorod-tysyachi-planet-2017/96476
http://kinogo-2017-net.ru/valerian_i_gorod_tysyachi_planet_2017_13_08_2911
http://kinogo-2017-net.ru/valerian_i_gorod_tysyachi_planet_2017_10_08_2911
http://kinogo-2017-net.ru/valerian_i_gorod_tysyachi_planet_2017_11_08_2911
out-2017-08-17T12:36:01.000+04:00.zip count=1
out-2017-08-17T13:36:01.000+04:00.zip count=0

запрос от 16.08.17
2 УРЛ
http://mob.youtubehub.com/watch/kjgmAIBCoCg
http://mob.youtubehub.com/watch/301jJnQ-r8k
out-2017-08-16T10:36:02.000+04:00.zip count=1
out-2017-08-16T11:36:01.000+04:00.zip count=0

запрос от 20.07.17
42 УРЛ в частности :
http://lfilm.org/570-padenie-londona.html
http://www.film-4-you.com/2344-koroleva-ispanii-2016.html
http://seasonvarhd.kz/11-skaz-o-petre-i-fevronii.html
все исключены 19-го в 19:36 по МСК (+4 не обращайте внимание константа в коде):
out-2017-07-19T17:36:03.000+04:00.zip count=1
out-2017-07-19T19:36:01.000+04:00.zip count=0

05.07.2017 13:26	http://torrentigruha.net, 217.12.201.189,
GET	Мосгорсуд	26.05.2017 14:33	200
./findurl.sh torrentigruha.net
out-2017-07-05T00:36:01.000+04:00.zip count=1
out-2017-07-05T11:36:01.000+04:00.zip count=1
out-2017-07-05T12:36:01.000+04:00.zip count=0

Проверить в конфигурационном файле /etc/dpi/fastdpi.conf параметр black_list_sm сли он = 1, то услуга включена и блокировка работает не глобально для всех.

На проверочном абоненте (IP/логин) убедиться, что услуга выключена:

fdpi_ctrl list --service 4 --ip 192.168.1.60

Варианты вывода:
1/0/1 - услуга удалена
1/1/0 - услуга в наличии

Result processing ip=192.168.1.60 : 1/0/1

— услуга выключена

Установить в конфигурации /etc/dpi/fastdpi.conf IP-адрес отключенного абонента:<codу bash>trace_ip=<IP></code> После установки сделать релоад:

service fastdpi reload

Сделать запрос на тестовом ПК на ресурс metfen.com
Проверяем в логе по тестовому сайту:

grep -A5 metfen fastdpi_slave_?.log

или

cat fastdpi_slave_?.log | grep metfen.com -A 5

Вывод:

HTTP_HOST=_metfen.com_ HTTP_REFERER(0)=_null_ HTTP_USER-AGENT=_Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.65 Safari/537.36_ HTTP_COOKIE=_null_ [TRACE ][001693490086826396][2888570700] CHECK_HTTP : URL=_/_ HTTP_HOST=_metfen.com_ HTTP_REFERER=_null_ blocked=0 new_prg_id=0

Как видно в выводе, blocked = 0 (переадресации нет), new_prg_id=0 (не подключено ни одной услуги). СКАТ — переадресацию/блокировку не проводит.

Снять дамп обращений на запрещенный ресурс на отключенном абоненте. Например, с помощью fiddler. Если перадресация осталась, то проблема на странице блокировке — отсутствует информация по ее кэшированию на стороне браузера, и браузер самостоятельно перенаправляет запрос без участия СКАТ.
Для того чтобы этого не происходило надо использовать:

Cache-Control: max-age=0, no-cache, no-store, must-revalidate Pragma: no-cache

<!-- <title>Доступ ограничен</title> -->

Запрос:https://vip-club-vulkan.net/
Действия:DPIhardware mtujumbo frameip mtu

Введение

Инструкция по настройке СКАТ DPI

В конфигурационном файле /etc/dpi/fastdpi.conf установить (а если есть — изменить) следующие настройки:

#период проверки 1 минута timeout_check_new_bl=1

Сделать рестарт DPI сервиса в подходящее время

service fastdpi restart

Проверить в файле fastdpi_alert.log, расположенном в каталоге /var/log/dpi успешную загрузку списков раз в минуту или информацию о том, что список не изменился.

Инструкция для выгрузки списков

Если вы самостоятельно скачиваете списки

Если вы используете услугу по забору списков в рамках поддержки, то необходимо создать заявку на поддержку с указанием вашего логина и пароля (можно получить у куратора РКН). При размещении у нас будет предоставлен FTP доступ к архивам.

Новый механизм выгрузки в форме «дельт»

Получение выгрузки

deleteid

Для каждого элемента content выполнить обновление или добавление реестровой записи.

Для каждого элемента delete по значению атрибута id выполнить удаление реестровой записи.

curl

curl -A "user-agent: FastDPI_blcheck" -o /dev/nul https://www.vasexperts.ru/data/lastdump.zip
curl -v -o blacklist.dict https://vasexperts.ru/data/belarus/blacklist.dict

DPIfederal_black_list

Нельзя будет использовать большую часть опций (например, аналитика требует входящий и исходящий поток для анализа протоколов и т.п.)

Если трафик будет идти по схеме РКН, т.е. только по IP, попавшим в список, то это дополнительная точка отказа.

federal_black_list

4 услуги

DPIDPI

DPI

#1 bin2ip /var/lib/dpi/blcacheip.bin > tmp.txt #2 dic2host /var/lib/dpi/blcache.bin|dig +short -f -|grep -E '[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}' » tmp.txt\\ #3 sort -u tmp.txt > ip.lst

DPIincronexabgp