Категоризированные списки

Категории и расписание для черных списков:
Использование категоризированных списков находится в режиме бета-тестирования

Для категоризации списков используется кликстрим оператора связи, для более точного получения перечня доменов и IP адресов, которые используются абонентми оператора. По настройке загрузки кликстрима данные предоставляются по запросу и технической возможности. Перечень категорий ведется с точностью до домена или IP.

Получение списка и выделение подсписка для использования

Загрузка с облака:

wget --no-check-certificate https://catalog.vasexperts.ru/catlist/outcat.lst.dic.gz
wget --no-check-certificate https://catalog.vasexperts.ru/catlist/outcat.lst.gz
gzip -d outcat.lst*

Состав:

outcat.lst.dic - описание категорий
outcat.lst - список доменов по категориям

Пример получения комбинированного списка 4+5 категорий:

grep -P '4\t|5\t' outcat.lst | awk -F '\t' '{print $2}'

Активация списка примеры

Блокировка соцсетей, видеохостингов для корпоративного клиента

Блокируем ресурсы из категории "порно"
Перечень категорий, к которым будет заблокирован доступ:
9 porno_sex

Формируем список из полученных файлов:

zcat outcat.lst.gz | awk -F '\t' '{if($1=="9"){print $2 "\n*." $2}}'| url2dic porno_block.bin
fdpi_ctrl load profile --service 4 --profile.name 1_black --profile.json '{ "url_list" : "/root/porn/porno_block.bin" , "sni_list" : "/root/porn/porno_block.bin", "redirect" : "http://vasexperts.ru/block", "federal" : true }'
fdpi_ctrl load --service 4 --profile_name 1_black --ip 10.64.66.100

Задача - заблокировать соц сети и другие ресурсы, которые не требуются для работы в организации.

Перечень категорий, попадающих в блокировку:
9 porno_sex
12 music_sites
13 game_sites
16 social_networks
27 miners_pools_curs_etc
38 forex
43 gambling
Формируем список из полученных файлов:
mkdir /home/lst;cd /home/lst
grep -P '9\t|12\t|13\t|16\t|27\t|38\t|43\t' outcat.lst | awk -F '\t' '{print $2}' | url2dic 1_block.bin
Создаем профиль:
fdpi_ctrl load profile --service 4 --profile.name 1_black --profile.json '{ "url_list" : "/home/lst/1_block.bin" , "sni_list" : "/home/lst/1_block.bin", "redirect" : "http://mysite.ru/block", "federal" : true }'
где,
http://mysite.ru/block - страница для переадресации.
назначаем абоненту:
fdpi_ctrl load --service 4 --profile_name 1_black --ip 192.168.0.1

Предоставление доступа только к определенным категорям сайтов

Задача - ограничить доступ абонента только определенными категориями сайтов.

Перечень категорий, к которым будет предоставлен доступ:
4 school
19 goverment
25 museum
26 medicina_hostitals
32 child_sites
Формируем список из полученных файлов:
mkdir /home/lst;cd /home/lst
grep -P '4\t|19\t|25\t|26\t|32\t' outcat.lst | awk -F '\t' '{print $2}' | url2dic 1_white.bin
Создаем профиль:
fdpi_ctrl load profile --service 5 --profile.name 1_white --profile.json '{ "url_list" : "/home/lst/1_white.bin" , "sni_list" : "http:///home/lst/1_white.bin", "redirect" : "mysite.ru/block" }'
где,
http://mysite.ru/block - страница для переадресации.
Назначаем абоненту:
fdpi_ctrl load --service 5 --profile.name 1_white --ip 192.168.0.1

Вопросы

Как часто обновляется список? - 1 раз в сутки, в дальнейшем планируется сократить интервал