Подготовка словарей со списком блокируемых ресурсов [Документация VAS Experts]

Различия

Показаны различия между двумя версиями страницы.

Ссылка на это сравнение

Предыдущая версия справа и слеваПредыдущая версия
Следующая версия
Предыдущая версия
dpi:dpi_options:opt_filtration:making_dictionary [2020/02/05 15:16] – ↷ Страница перемещена из dpi:dpi_options:base_functionality:opt_filtration:making_dictionary в dpi:dpi_options:opt_filtration:making_dictionary lexx26dpi:dpi_options:opt_filtration:making_dictionary [2025/01/13 11:59] (текущий) – [Формат файла со списком белых SNI (домены https):] elena.krasnobryzh
Строка 1: Строка 1:
 ====== Подготовка словарей со списком блокируемых ресурсов ====== ====== Подготовка словарей со списком блокируемых ресурсов ======
 +{{indexmenu_n>4}}
 +Подготовка словаря со списком блокируемых ресурсов 2-х этапная:
 +сначала создается тестовый файл со списком ресурсов, который затем конвертируется
 +во внутренний формат словаря с помощью специальной утилиты.
 +<note>Для конвертации используются следующие утилиты:
 +  * ''url2dic'' - для URL, SNI CN
 +  * ''ip2bin'' - для IP
  
 +Обратные утилиты конвертарции:
 +  * ''dic2host'' - для конвертации dic файлов с URL, SNI, CN в список доменов
 +  * ''dic2star'' - для конвертации dic файлов с SNI, CN в список доментов со *
 +  * ''bin2ip'' - для конвертации dic файлов с IP
 +
 +Утилита для проверки вхождения в черный список - ''[[dpi:dpi_components:utilities:management_utilities|checklock]]''.</note>
 +
 +===== Формат файла со списком блокируемых URL: =====
 +
 +Каждая строка файла содержит один url (без префикса <nowiki>http://</nowiki>), например:
 +<code>httpforever.com/index
 +*forever.com/index (included 123forever.com/index, www.forever.com/index, biglikeforever.com/index etc)
 +3dmx.net
 +*.3dmx.net (included wwww.3dmx.net, map.3dmx.net etc)
 +</code>
 +
 +Конвертирование во внутренний формат:
 +<code>cat my_url_list.txt|url2dic my_url_list.dic</code>
 +
 +Конвертирование во внутренний формат с автоматическим преобразованием доменов и букв в url, написанных в национальном алфавите в кодировке utf-8:
 +<code>cat my_url_list.txt|url2norm|url2dic my_url_list.dic</code>
 +
 +===== Формат файла со списком блокируемых имен в сертификатах SSL (Common Name): =====
 +
 +Каждая строка файла содержит одно [[dpi:dpi_options:opt_filtration:making_dictionary:cn_info|имя]], например:
 +<code>www.vasexperts.ru
 +*.facebook.com (included wwww.facebook.com, m.facebook.com etc)
 +*google.com (included wwww.google.com, 123google.com etc)</code>
 +
 +Конвертирование во внутренний формат:
 +<code>cat my_cn_list.txt|url2dic my_cn_list.dic</code>
 +
 +===== Формат файла со списком блокируемых SNI (домены https): =====
 +Каждая строка файла содержит один SNI (без префикса <nowiki>http://</nowiki>), допускается использование *, например:
 +<code>x.com
 +*.youtube.com (included wwww.youtube.com, m.youtube.com etc)
 +*google.com (included wwww.google.com, 123google.com etc)</code>
 +
 +Конвертирование во внутренний формат:
 +<code>cat my_sni_list.txt|url2dic my_sni_list.bin</code>
 +
 +===== Формат файла со списком блокируемых IP адресов, CIDR: =====
 +С версии 12.4 поддерживается создание списка на основе: 
 +  * IPv4 <пробел> номер_порта
 +  * IPv4
 +  * IPv6 <пробел> номер_порта
 +  * IPv6
 +  * CIDR IPv4/IPv6
 +
 +Каждая строка файла содержит только одну запись, пример для IPv4:
 +<code>
 +78.47.115.34 443
 +95.211.6.93
 +95.211.4.0/24
 +</code>
 +
 +<note>СКАТ разрешает установку TCP соединения клиентом и ожидает передачи данных. По данным СКАТ определяет протокол и в случае HTTP/HTTPS/QUIC ожидает передачи URL/SNI/CN, для других протоколов осуществляет блокировку передачи данных сразу. Данное поведение связано с тем, что на одном IP адресе может находиться множество доменов и приоритетная проверка по URL/SNI/CN.\\ 
 +С версии 13 добавлена поддержка жестких блокировок (несмотря на имя URL/SNI/CN) — задается путем добавления кодового слова ''hard'' в IP лист, пример для IPv4: 
 +<code>
 +78.47.115.34 443 hard
 +95.211.6.93 hard
 +95.211.4.0/24 hard
 +</code></note>
 +
 +Конвертирование во внутренний формат:
 +<code>cat my_ip_list.txt|ip2bin my_ip_list.bin</code>
 +
 +<note>В случае задания IP адреса или CIDR блокируются **ТОЛЬКО ВСЕ TCP порты**. Для блокировки UDP портов необходимо включить настройку ''[[dpi:dpi_components:platform:subscriber_management:subsman_cmd#настройка_блокировки_протоколов_tcp_и_udp|udp_block=3]]'' в /etc/dpi/fastdpi.conf</note>