Предыдущая версия справа и слеваПредыдущая версияСледующая версия | Предыдущая версия |
dpi:faq:dpi:filtration:start [2024/08/05 14:37] – elena.krasnobryzh | dpi:faq:dpi:filtration:start [Дата неизвестна] (текущий) – удалено - внешнее изменение (Дата неизвестна) 127.0.0.1 |
---|
====== Фильтрация по реестру запрещенных сайтов (услуга 4) ====== | |
{{indexmenu_n>1}} | |
<note>[[dpi:dpi_options:opt_filtration:start|Описание продукта]]</note> | |
<accordion autoclose> | |
<accordion-item title="1. Лог по запросам о пропуске ревизором ресурсов. Ревизор, ошибочные проверки по исключенным из выгрузок или еще не включенным в выгрузки ресурсам"> | |
**Внимание:** списки выгружаются каждые 5 минут. Если появляются пропуски по МинЮсту (Роскомнадзор может выгружать Ревизору раньше, чем появляется в списках), поставьте интервал короче, например ''timeout_check_new_bl=5'' и сделайте релоад ''service fastdpi reload'', это частично решает проблему (если в списках еще нет данных, мы заблокировать их не можем). | |
<code> | |
17.11.17 | |
Проверка: 17.11.2017 15:18:47 | |
УРЛ: http://54.165.182.92 | |
out-2017-11-17T14:16:02.000+04:00.zip count=0 | |
out-2017-11-17T15:16:02.000+04:00.zip count=1 | |
проверка 2 мин, таймер обновления 5 минут, ревизор проверил раньше чем DPI | |
загрузил новый список (1 час не было изменений в реестре) | |
</code> | |
<code> | |
12.10.17 | |
Проверка: 12.10.2017 19:00:19 | |
УРЛ: www.torrentok.org/kino/3514-intervyu_s_putinyim_2017.html | |
out-2017-10-12T16:46:02.000+04:00.zip count=1 | |
out-2017-10-12T17:16:04.000+04:00.zip count=0 | |
Проверка: 12.10.2017 19:00:19 | |
УРЛ: www.trackerok.com/tv/776976-intervyu_s_putinyim_The_Putin_Interviews_serii_1-4_iz_4_oliver_stoun_Oliver_Stone_2017_dokumentalnyiy_biografiya_HDTVRip_MVO_pervyiy_kanal.html | |
out-2017-10-12T16:46:02.000+04:00.zip count=1 | |
out-2017-10-12T17:16:04.000+04:00.zip count=0 | |
</code> | |
<code> | |
11.10.17 | |
Проверка: 11.10.2017 14:08:37 | |
УРЛ: www.casinoz.su/casino | |
out-2017-10-11T13:16:03.000+04:00.zip count=0 | |
out-2017-10-11T14:16:04.000+04:00.zip count=1 | |
проверка раньше получения выгрузки (1 час не было изменений в реестре) | |
</code> | |
<code> | |
04.10.17 | |
Проверка: 04.10.2017 10:07 | |
УРЛ: 54.226.8.111 | |
out-2017-10-04T09:16:12.000+04:00.zip count=0 | |
out-2017-10-04T09:31:04.000+04:00.zip count=1 | |
Проверка: 02.10.2017 11:07 | |
УРЛ: 34.234.71.76 | |
out-2017-10-04T10:31:01.000+04:00.zip count=0 | |
out-2017-10-04T10:46:03.000+04:00.zip count=1 | |
Проверка: 02.10.2017 12:07 | |
УРЛ: 54.90.155.13 | |
out-2017-10-04T11:16:03.000+04:00.zip count=0 | |
out-2017-10-04T11:46:30.000+04:00.zip count=1 | |
Проверка: 02.10.2017 14:07 | |
УРЛ: 54.164.174.66 | |
out-2017-10-04T13:16:04.000+04:00.zip count=0 | |
out-2017-10-04T13:46:04.000+04:00.zip count=1 | |
Проверка: 02.10.2017 15:07 | |
УРЛ: 34.227.192.56 | |
out-2017-10-04T14:31:02.000+04:00.zip count=0 | |
out-2017-10-04T15:01:03.000+04:00.zip count=1 | |
Проверка: 02.10.2017 17:07 | |
УРЛ: 54.166.200.6 | |
out-2017-10-04T16:16:05.000+04:00.zip count=0 | |
out-2017-10-04T17:01:21.000+04:00.zip count=1 | |
=> укоротите timeout_check_new_bl до 5 или 1 минуты | |
РКН не выдерживает регламент в 1 час, поверяют "немедленно" | |
</code> | |
<code> | |
02.10.17 | |
Проверка: 02.10.2017 19:43 - 19:50 | |
УРЛ: www.footballalmanax.com, football-plyus.net, hdkino.info/917-film-gogol-nachalo-2017-a.html, hdzal.net | |
out-2017-10-02T16:16:12.000+04:00.zip count=1 | |
out-2017-10-02T17:02:05.000+04:00.zip count=0 | |
Исключены в 17:01 - проверка в 19:40+ | |
</code> | |
<code> | |
28.09.17 | |
Проверка: 28.09.2017 15:31:29 | |
УРЛ: showtv-online.com/serial/1562-gogol-2016.html | |
out-2017-09-28T13:31:02.000+04:00.zip count=1 | |
out-2017-09-28T14:01:06.000+04:00.zip count=0 | |
(ресурс исключен к моменту проверки) | |
| |
Проверка: 28.09.2017 15:16:23 | |
УРЛ: http://52.23.202.135 | |
out-2017-09-28T14:16:02.000+04:00.zip count=0 | |
out-2017-09-28T15:01:02.000+04:00.zip count=1 | |
( не выполнен регламент 1 час на ревизоре ) | |
| |
Проверка: 28.09.2017 14:17:59 | |
УРЛ: http://34.229.145.60 | |
out-2017-09-28T13:31:02.000+04:00.zip count=0 | |
out-2017-09-28T14:01:06.000+04:00.zip count=1 | |
( не выполнен регламент 1 час на ревизоре ) | |
</code> | |
<code> | |
22.09.17 | |
Проверка: 22.09.2017 11:06:34 | |
УРЛ: 34.229.216.98 | |
out-2017-09-22T10:16:03.000+04:00.zip count=0 | |
out-2017-09-22T10:46:03.000+04:00.zip count=1 | |
(см.выше timeout_check_new_bl=20, возможно даже еще короче интервал нужен в данном случае | |
ревизор не выдерживает интервал в 1 час от появления в списе по регламенту) | |
</code> | |
<code> | |
21.09.17 | |
Проверка: 21.09.2017 10:39:35 | |
УРЛ: 34.228.15.210 | |
out-2017-09-21T09:16:04.000+04:00.zip count=0 | |
out-2017-09-21T09:46:03.000+04:00.zip count=1 | |
(см.выше timeout_check_new_bl=20) | |
| |
Проверка: 21.09.2017 13:56 | |
УРЛ: knigian.net/sovremennaya-proza/duh-69-go-bibliya-skinheda.html | |
out-2017-09-21T07:16:02.000+04:00.zip count=1 | |
out-2017-09-21T08:16:10.000+04:00.zip count=0 | |
(проверка ревизором после удаления) | |
| |
Проверка: 21.09.2017 17:19 | |
УРЛ: 54.227.110.18 | |
out-2017-09-21T16:16:03.000+04:00.zip count=0 | |
out-2017-09-21T16:46:03.000+04:00.zip count=1 | |
(см.выше timeout_check_new_bl=20) | |
</code> | |
<code> | |
20.09.17 | |
Проверка: 20.09.2017 16:15 | |
УРЛ: http://34.229.88.50 | |
out-2017-09-20T15:16:04.000+04:00.zip count=0 | |
out-2017-09-20T15:46:03.000+04:00.zip count=1 | |
(см. выше стоит обновление 60 минут по умолчанию) | |
| |
Проверка: 20.09.2017 18:16, 18:21 | |
УРЛ: http://54.211.124.53 | |
out-2017-09-20T17:16:04.000+04:00.zip count=0 | |
out-2017-09-20T17:46:02.000+04:00.zip count=1 | |
(регламент 1 час после включения в список) | |
| |
Проверка: 20.09.2017 с 16:39 по 18:43 | |
УРЛ: http://kinoluvr.net/4670-671-molodezhka-vzroslaya-zhizn-5-sezon-15-09-2017.html | |
out-2017-09-20T12:31:02.000+04:00.zip count=1 | |
out-2017-09-20T12:46:04.000+04:00.zip count=0 | |
(исключен) | |
| |
Проверка: 20.09.2017 13:38 | |
УРЛ: http://54.172.95.171 | |
out-2017-09-20T12:31:02.000+04:00.zip count=0 | |
out-2017-09-20T12:46:04.000+04:00.zip count=1 | |
(см. выше стоит обновление 60 минут по умолчанию) | |
</code> | |
<code> | |
19.09.2017 | |
Проверка: 19.09.2017 14:15 | |
УРЛ: http://34.227.9.241 | |
out-2017-09-19T13:16:03.000+04:00.zip count=0 | |
out-2017-09-19T14:16:05.000+04:00.zip count=1 | |
</code> | |
<code> | |
18.09.17 | |
Проверка: 18.09.2017 16:14 | |
УРЛ: http://m-ki.ru/film/2146-gogol-nachalo.html | |
Фактическое удаление из списков: | |
out-2017-09-18T12:16:04.000+04:00.zip count=1 | |
out-2017-09-18T13:31:02.000+04:00.zip count=0 | |
| |
Проверка: 18.09.2017 09:08:24 | |
УРЛ: http://54.85.35.113 | |
Фактическое появление в списках: | |
out-2017-09-18T09:16:03.000+04:00.zip count=0 | |
out-2017-09-18T09:46:02.000+04:00.zip count=1 | |
| |
Проверка: 18.09.2017 10:05:40 | |
УРЛ: http://34.224.100.15 | |
Фактическое появление в списках: | |
out-2017-09-18T10:16:05.000+04:00.zip count=0 | |
out-2017-09-18T10:31:01.000+04:00.zip count=1 | |
</code> | |
<code> | |
15.09.17 | |
Проверка: 15.09.2017 10:06:07 | |
УРЛ: http://54.86.157.113 | |
Фактическое появление в списках: | |
out-2017-09-15T10:16:02.000+04:00.zip count=0 | |
out-2017-09-15T10:46:02.000+04:00.zip count=1 | |
| |
Проверка: 15.09.2017 13:05:58 | |
УРЛ: http://54.164.151.203 | |
Фактическое появление в списках: | |
out-2017-09-15T13:16:03.000+04:00.zip count=0 | |
out-2017-09-15T13:46:02.000+04:00.zip count=1 | |
</code> | |
<code> | |
14.09.17 | |
Проверка: 14.09.2017 09:06:28 | |
УРЛ: http://54.174.78.70 | |
Фактическое появление в списках: | |
out-2017-09-14T09:31:02.000+04:00.zip count=0 | |
out-2017-09-14T10:01:02.000+04:00.zip count=1 | |
</code> | |
<code> | |
13.09.17 | |
Проверка: 13.09.2017 09:06:31 | |
УРЛ: http://34.230.70.64 | |
Фактическое появление в списках: | |
out-2017-09-13T09:16:02.000+04:00.zip count=0 | |
out-2017-09-13T09:31:02.000+04:00.zip count=1 | |
</code> | |
<code> | |
12.09.17 | |
Проверка: 12.09.2017 11:05:57 | |
УРЛ: http://34.204.42.8 | |
Фактическое появление в списках: | |
out-2017-09-12T11:16:03.000+04:00.zip count=0 | |
out-2017-09-12T11:46:02.000+04:00.zip count=1 | |
| |
Проверка: 12.09.2017 13:05:42 | |
УРЛ: http://54.152.145.250 | |
Фактическое появление в списках: | |
out-2017-09-12T13:31:01.000+04:00.zip count=0 | |
out-2017-09-12T13:46:24.000+04:00.zip count=1 | |
| |
Проверка: 12.09.2017 16:06:03 | |
УРЛ: http://34.227.75.113 | |
Фактическое появление в списках: | |
out-2017-09-12T16:16:04.000+04:00.zip count=0 | |
out-2017-09-12T17:01:01.000+04:00.zip count=1 | |
| |
Проверка: 12.09.2017 18:05:20 | |
УРЛ: http://34.201.106.78 | |
Фактическое появление в списках: | |
out-2017-09-12T17:16:02.000+04:00.zip count=0 | |
out-2017-09-12T18:31:01.000+04:00.zip count=1 | |
</code> | |
<code> | |
11.09.17 | |
Проверка: 11.09.2017 12:05:48 | |
УРЛ: http://34.207.144.151 | |
Фактическое появление в списках: | |
out-2017-09-11T12:16:04.000+04:00.zip count=0 | |
out-2017-09-11T12:31:53.000+04:00.zip count=1 | |
</code> | |
<code> | |
08.09.17 | |
Проверка: 08.09.2017 10:03:44 | |
УРЛ: http://54.221.189.235 | |
Фактическое появление в списках: | |
out-2017-09-08T10:31:02.000+04:00.zip count=0 | |
out-2017-09-08T11:01:02.000+04:00.zip count=1 | |
| |
Проверка: 08.09.2017 11:04:24 | |
УРЛ: http://52.23.188.19 | |
Фактическое появление в списках: | |
out-2017-09-08T11:01:02.000+04:00.zip count=0 | |
out-2017-09-08T12:31:38.000+04:00.zip count=1 | |
| |
Проверка: 08.09.2017 12:03:25 | |
УРЛ: http://54.84.44.85 | |
Фактическое появление в списках: | |
out-2017-09-08T12:46:12.000+04:00.zip count=0 | |
out-2017-09-08T13:01:01.000+04:00.zip count=1 | |
| |
Проверка: 08.09.2017 13:04:51 | |
УРЛ: http://54.157.61.39 | |
Фактическое появление в списках: | |
out-2017-09-08T13:16:01.000+04:00.zip count=0 | |
out-2017-09-08T14:16:01.000+04:00.zip count=1 | |
</code> | |
<code> | |
07.09.17 | |
Проверка: 07.09.2017 17:04:29 | |
УРЛ: http://54.174.168.240 | |
Фактическое появление в списках: | |
out-2017-09-07T16:16:02.000+04:00.zip count=0 | |
out-2017-09-07T16:31:02.000+04:00.zip count=1 | |
| |
Проверка: 07.09.2017 18:05:38 | |
УРЛ: http://34.227.46.204 | |
Фактическое появление в списках: | |
out-2017-09-07T17:16:03.000+04:00.zip count=0 | |
out-2017-09-07T18:16:01.000+04:00.zip count=1 | |
</code> | |
<code> | |
06.09.2017 | |
Проверка: 06.09.2017 10:05:11 | |
УРЛ: http://34.226.197.34 | |
Фактическое появление в списках: | |
out-2017-09-06T09:46:02.000+04:00.zip count=0 | |
out-2017-09-06T10:01:02.000+04:00.zip count=1 | |
</code> | |
<code> | |
05.09.2017 | |
Проверка: 05.09.2017 11:08:18 | |
УРЛ: http://ec2-34-228-39-201.compute-1.amazonaws.com | |
Фактическое появление в списках: | |
out-2017-09-05T11:36:01.000+04:00.zip count=0 | |
out-2017-09-05T12:06:02.000+04:00.zip count=0 | |
out-2017-09-05T13:06:29.000+04:00.zip count=1 | |
</code> | |
<code> | |
04.09.2017 | |
Проверка: 04.09.2017 11:03:04 | |
УРЛ: http://54.173.161.204 | |
out-2017-09-04T10:06:03.000+04:00.zip count=0 | |
out-2017-09-04T11:06:02.000+04:00.zip count=1 | |
+Проверка: 04.09.2017 11:05:04 | |
УРЛ: http://54.173.161.204 | |
out-2017-09-04T10:06:03.000+04:00.zip count=0 | |
out-2017-09-04T11:06:02.000+04:00.zip count=1 | |
по сути проверка ревизором прошло за минуту до появления в списке, т.к. промежуточный 30 мин. не изменялся | |
</code> | |
<code> | |
01.09.2017 | |
запись - http://54.165.100.190, 54.165. 100.190, GET | |
нарушение зафиксировано 01 Сен, 2017 12:06:27 смотрим на загрузки что видим : | |
out-2017-09-01T11:06:05.000+04:00.zip count=0 | |
out-2017-09-01T11:36:02.000+04:00.zip count=0 | |
out-2017-09-01T12:06:02.000+04:00.zip count=1 | |
out-2017-09-01T12:36:05.000+04:00.zip count=1 | |
по регламенту РКН минюст должен проверяться не ранее чем через час после включения в список, | |
остальное через сутки, здесь проверка сразу как только в список попала запись | |
2я запись - 34.229.86.135 | |
01 Сен, 2017 14:04:20 | |
out-2017-09-01T12:36:05.000+04:00.zip count=0 | |
out-2017-09-01T13:36:10.000+04:00.zip count=0 | |
out-2017-09-01T14:36:21.000+04:00.zip count=1 | |
- так же проверяется раньше чем в списки попало. | |
</code> | |
<code> | |
01.09.2017 | |
3й - ec2-34-229-86-135.compute-1.amazonaws.com | |
01 Сен, 2017 15:05:01 | |
out-2017-09-01T12:36:05.000+04:00.zip count=0 | |
out-2017-09-01T13:36:10.000+04:00.zip count=0 | |
out-2017-09-01T14:36:21.000+04:00.zip count=1 | |
- 29 минут между внесение и проверкой | |
4й - 54.89.203.243 | |
01 Сен, 2017 15:05:03 | |
out-2017-09-01T12:36:05.000+04:00.zip count=0 | |
out-2017-09-01T13:36:10.000+04:00.zip count=0 | |
out-2017-09-01T14:36:21.000+04:00.zip count=1 | |
- так же 29 минут | |
по 29 минутам, проверьте как установлен параметр - timeout_check_new_bl, если 60 минут, то | |
поставьте интервал короче, timeout_check_new_bl=20 | |
например, и сделайте релоад (service fastdpi reload) | |
</code> | |
<code> | |
17.08.17 | |
http://kinoguru.co/film/valerian-i-gorod-tysyachi-planet-2017/96476 | |
http://kinogo-2017-net.ru/valerian_i_gorod_tysyachi_planet_2017_13_08_2911 | |
http://kinogo-2017-net.ru/valerian_i_gorod_tysyachi_planet_2017_10_08_2911 | |
http://kinogo-2017-net.ru/valerian_i_gorod_tysyachi_planet_2017_11_08_2911 | |
out-2017-08-17T12:36:01.000+04:00.zip count=1 | |
out-2017-08-17T13:36:01.000+04:00.zip count=0 | |
</code> | |
<code> | |
запрос от 16.08.17 | |
2 УРЛ | |
http://mob.youtubehub.com/watch/kjgmAIBCoCg | |
http://mob.youtubehub.com/watch/301jJnQ-r8k | |
out-2017-08-16T10:36:02.000+04:00.zip count=1 | |
out-2017-08-16T11:36:01.000+04:00.zip count=0 | |
</code> | |
<code> | |
запрос от 20.07.17 | |
42 УРЛ в частности : | |
http://lfilm.org/570-padenie-londona.html | |
http://www.film-4-you.com/2344-koroleva-ispanii-2016.html | |
http://seasonvarhd.kz/11-skaz-o-petre-i-fevronii.html | |
все исключены 19-го в 19:36 по МСК (+4 не обращайте внимание константа в коде): | |
out-2017-07-19T17:36:03.000+04:00.zip count=1 | |
out-2017-07-19T19:36:01.000+04:00.zip count=0 | |
</code> | |
<code> | |
05.07.2017 13:26 http://torrentigruha.net, 217.12.201.189, | |
GET Мосгорсуд 26.05.2017 14:33 200 | |
./findurl.sh torrentigruha.net | |
out-2017-07-05T00:36:01.000+04:00.zip count=1 | |
out-2017-07-05T11:36:01.000+04:00.zip count=1 | |
out-2017-07-05T12:36:01.000+04:00.zip count=0 | |
</code> | |
</accordion-item> | |
| |
<accordion-item title="2. При управлении фильтрацией через услугу 4 не происходит отключение услуги. В чем причина?"> | |
- Проверить в конфигурационном файле ''/etc/dpi/fastdpi.conf'' параметр ''black_list_sm'' сли он = 1, то услуга включена и блокировка работает не глобально для всех. | |
- На проверочном абоненте (IP/логин) убедиться, что услуга выключена:<code bash>fdpi_ctrl list --service 4 --ip 192.168.1.60</code> Варианты вывода:\\ ''1/0/1'' - услуга удалена\\ ''1/1/0'' - услуга в наличии\\ \\ <code bash>Result processing ip=192.168.1.60 : 1/0/1</code> — услуга выключена | |
- Установить в конфигурации ''/etc/dpi/fastdpi.conf'' IP-адрес отключенного абонента:<codу bash>trace_ip=<IP></code> После установки сделать релоад:<code bash>service fastdpi reload</code>**Сделать запрос на тестовом ПК на ресурс metfen.com**\\ Проверяем в логе по тестовому сайту:<code bash>grep -A5 metfen fastdpi_slave_?.log</code> или <code bash>cat fastdpi_slave_?.log | grep metfen.com -A 5</code>Вывод: <code bash>HTTP_HOST=_metfen.com_ | |
HTTP_REFERER(0)=_null_ | |
HTTP_USER-AGENT=_Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) | |
Chrome/43.0.2357.65 Safari/537.36_ | |
HTTP_COOKIE=_null_ | |
[TRACE ][001693490086826396][2888570700] CHECK_HTTP : URL=_/_ | |
HTTP_HOST=_metfen.com_ | |
HTTP_REFERER=_null_ | |
blocked=0 | |
new_prg_id=0</code> Как видно в выводе, ''blocked = 0'' (переадресации нет), ''new_prg_id=0'' (не подключено ни одной услуги). СКАТ — переадресацию/блокировку не проводит. | |
- Снять дамп обращений на запрещенный ресурс на отключенном абоненте. Например, с помощью ''fiddler''. Если перадресация осталась, то проблема на странице блокировке — отсутствует информация по ее кэшированию на стороне браузера, и браузер самостоятельно перенаправляет запрос без участия СКАТ.\\ Для того чтобы этого не происходило надо использовать:<code bash>Cache-Control: max-age=0, no-cache, no-store, must-revalidate | |
Pragma: no-cache</code> | |
</accordion-item> | |
| |
<accordion-item title="3. Что должно быть на странице переадресации, чтобы программа РКН отработала корректно?"> | |
Программа РКН проверяет в заглушке конкретную фразу. Если она содержится на странице, программа РКН отработает корректно.\\ | |
Фразу можно оформить даже комментарием: | |
<code bash> | |
<!-- | |
<title>Доступ ограничен</title> | |
--> | |
</code> | |
</accordion-item> | |
| |
<accordion-item title="4. О фрагментации и установке MTU"> | |
**Запрос:** Ревизор обнаружил доступной страницу https://vip-club-vulkan.net/ в отчете ревизора код — 409. Страница не загружается, но доступ присутствует.\\ | |
**Действия:** проверить MTU на роутере до СКАТ DPI, проблема связана с фрагментацией пакетов и решается следующим образом — установка только ''hardware mtu'' (''jumbo frame'') не достаточна, в дополнение к нему необходимо выставить ''ip mtu'' на 1500. После этого сайт перестанет открываться и попадать в отчет Ревизора. | |
</accordion-item> | |
| |
<accordion-item title="5. Новый механизм дельт"> | |
**Введение** | |
| |
Роскомнадзор осуществляет переход на новый механизм забора списков в форме «дельт» (Описание ниже в разделе "Новый механизм выгрузки в форме «дельт»"). Для операторов, которые забирают списки с нашего облака, необходимо настроить СКАТ согласно инструкции. Для тех, кто подготавливает списки самостоятельно, необходимо внести изменения в свои алгоритмы.\\ | |
На время перехода (2 недели) штрафы отменены, просьба уточнить все ИНН у своего куратора в РКН, для которых действует тестовый период. | |
| |
**Инструкция по настройке СКАТ DPI** | |
| |
- В конфигурационном файле ''/etc/dpi/fastdpi.conf'' установить (а если есть — изменить) следующие настройки: <code bash> | |
#период проверки 1 минута | |
timeout_check_new_bl=1 | |
</code> | |
- Сделать рестарт DPI сервиса в подходящее время <code bash> | |
service fastdpi restart | |
</code> | |
- Проверить в файле ''fastdpi_alert.log'', расположенном в каталоге ''/var/log/dpi'' успешную загрузку списков раз в минуту или информацию о том, что список не изменился. | |
| |
**Инструкция для выгрузки списков** | |
| |
Списки в облаке загружаются из реестра РКН от имени ООО «ИТ-ГРАД» ИНН 7838413489 | |
- Если вы [[dpi:dpi_options:opt_filtration:filtration_script:start|самостоятельно скачиваете списки]] | |
- Если вы используете [[dpi:dpi_options:opt_filtration:filtration_eds:start|услугу по забору списков в рамках поддержки]], то необходимо создать заявку на поддержку с указанием вашего логина и пароля (можно получить у куратора РКН). При размещении у нас будет предоставлен FTP доступ к архивам. | |
| |
**Новый механизм выгрузки в форме «дельт»** | |
| |
Роскомнадзор меняет способ авторизации, если раньше обязательно требовалась ЭЦП, что сильно затягивало процесс скачивания выгрузки, то теперь достаточно зайти в личный кабинет введя логин и пароль.\\ | |
Основа нового механизма – форма «дельт», то есть изменения, которые внесены Роскомнадзором в данную выгрузку по сравнению с предыдущей. Причем обновления происходят не ежечасно, а только при внесении новых записей или изменении старых. Так как «дельта» значительно меньше всего реестра (около 200-300 ресурсов), то ее размещение для скачивания операторами связи происходит быстрее, чем раньше.\\ | |
Операторы связи должны скачать «дельту» и загрузить ее в свою систему блокировки, которая должна поддерживать не только загрузку ежечасной выгрузки (как это делает по текущим правилам), но и такую облегченную инкрементальную версию списка.\\ | |
Задача нового механизма – увеличить скорость реагирования операторов связи на требования о блокировании новых ресурсов или ресурсов, которые изменили свои адреса. | |
| |
**Получение выгрузки** | |
| |
Для оперативного получения изменений по выгрузке запрещенных ресурсов можно, как и раньше, использовать Веб-сервис. Теперь он работает как в базовом режиме получения полной выгрузки при каждом изменении, так и получение дельта-пакетов.\\ | |
В любой момент времени возможно получение полной выгрузки, полное обновление правил фильтрации в соответствии с ней и переход в режим дельта-пакетов относительно данной выгрузки.\\ | |
Каждый дельта-пакет имеет уникальный идентификатор и дату актуальности и представляет собой файл в формате xml, имеющий ту же структуру, что и основная выгрузка. Этот формат описан в Памятке оператору связи. Отличие в том, что в дельта-пакете присутствуют только новые и измененные записи. Также в дельта-пакете присутствуют теги ''delete'', в которых в качестве значения атрибута ''id'' указан идентификатор удаляемой реестровой записи. В результате при применении дельта-пакета необходимо выполнить следующие действия: | |
* Для каждого элемента ''content'' выполнить обновление или добавление реестровой записи. | |
* Для каждого элемента ''delete'' по значению атрибута ''id'' выполнить удаление реестровой записи. | |
</accordion-item> | |
| |
<accordion-item title="6. Проверка доступности облачных списков"> | |
Для проверки доступности облачных списков используйте вызов утилиты ''curl'' со следующими параметрами: | |
<code bash>curl -A "user-agent: FastDPI_blcheck" -o /dev/nul https://www.vasexperts.ru/data/lastdump.zip</code> | |
<code bash>curl -v -o blacklist.dict https://vasexperts.ru/data/belarus/blacklist.dict</code> | |
</accordion-item> | |
| |
<accordion-item title="7. Загрузка собственного списка"> | |
Есть возможность заставить DPI работать только по Вашему списку запрещенных ресурсов. Управляется работа с облачным/кастомным списком параметром ''[[dpi:dpi_options:opt_filtration:filtration_settings:start|federal_black_list]]''. | |
</accordion-item> | |
| |
<accordion-item title="8. Работа фильтрации по спискам РКН при пропуске только исходящего трафика"> | |
Асимметричная схема поддерживается, но не рекомендуется по следующим причинам: | |
- Нельзя будет использовать большую часть опций (например, аналитика требует входящий и исходящий поток для анализа протоколов и т.п.) | |
- Если трафик будет идти по схеме РКН, т.е. только по IP, попавшим в список, то это дополнительная точка отказа. | |
</accordion-item> | |
| |
<accordion-item title="9. Редирект https запросов"> | |
Редирект на страницу "Заглушку" выполняется при http запросах, для https это действие невозможно. Для этого нужно расшифровать трафик с помощью приватного ключа или корневого сертификата, поэтому осуществляется только блокировка трафика. | |
</accordion-item> | |
| |
<accordion-item title="10. Совместное использование кастомных и облачных списков"> | |
Собственные списки используются как отдельные, в дополнение к облачным (если сервис включен). Подробнее о параметрах - ''[[dpi:dpi_options:opt_filtration:filtration_settings:start|federal_black_list]]''. | |
</accordion-item> | |
| |
<accordion-item title="11. Фильтрация и VLAN. Возможно ли применять политику фильтрации на определенные VLAN?"> | |
Да. О настройке внешних каналов и подключения услуг разрешенных/блок листов — в описании [[dpi:dpi_options:opt_shaping:shaping_multi:start#настройка_черного_списка_-_4_услуга|4 услуги]]. | |
| |
Весь тегированный трафик, проходящий через DPI, будет профильтрован и при этом нет необходимости создавать какие либо виланы на самом DPI сервере. Создавать дополнительные VLAN нет необходимости | |
</accordion-item> | |
| |
<accordion-item title="12. Получить список адресов для фильтрации по схеме с BGP"> | |
Данная схема фильтрации не поддерживается «из коробки», но вы можете организовать ее самостоятельно: так как DPI фильтрует не по IP, вам потребуется самостоятельно преобразовать хосты в IP-адреса, например: | |
<code bash> | |
#1 | |
bin2ip /var/lib/dpi/blcacheip.bin > tmp.txt | |
#2 | |
dic2host /var/lib/dpi/blcache.bin|dig +short -f -|grep -E '[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}' » tmp.txt\\ | |
#3 | |
sort -u tmp.txt > ip.lst | |
</code> | |
Отследить загрузку новых списков на DPI и запустить скрипты преобразования можно настроив ''incron'', а анонсировать маршруты можно через ''exabgp''. | |
</accordion-item> | |
</accordion> | |
| |
| |