| Предыдущая версия справа и слеваПредыдущая версияСледующая версия | Предыдущая версия |
| dpi:dpi_components:platform:dpi_admin:testversion_install [2024/12/18 13:00] – [Изменения в версии 13.2 BETA9.3] elena.krasnobryzh | dpi:dpi_components:platform:dpi_admin:testversion_install [2025/03/24 08:45] (текущий) – [Изменения в версии 13.3 BETA3.6] vasexperts |
|---|
| {{indexmenu_n>3}} | {{indexmenu_n>3}} |
| |
| ====Изменения в версии 13.2 BETA1==== | ====Изменения в версии 13.3 BETA1==== |
| |
| - [BRAS][PPPoE] Исправлено: пинг неактивного клиента запросами Echo | - [DPI] Новые протоколы BIGOTV [49305], SAYHI [49306], AZARLIVE [49307] |
| - Добавлено: поддержка профилей услуги 19 (Подмена DNS-ответов). [[dpi:dpi_options:dns_substitution|Описание]] | - Добавлено: горячий параметр ''smartdrop = 1'', если для прокола задан ''drop'', то он будет отложен, пока не будет разобран tls или ошибка разбора tls |
| - Добавлено: для услуги 19 возможность задавать AAAA-записи и поддержка указания * для доменов. [[dpi:dpi_options:dns_substitution|Описание]] | - Исправлено: добавление http доменов с окончанием на '':'' (номер порта) |
| - Исправлено: для профиля услуги 18 не требуется одновременно задавать DSCP и TBF | - [Utils] Исправлено: ''checkproto'' проверяет с учетом MARK1, задан ли номер порта, т.е. ''checkproto 8.8.8.8 443 www.google.com'' и ''checkproto 8.8.8.8 www.google.com'' могут вернуть разный результат |
| | - Изменен путь загрузки ASNUM из VAS Cloud (cloud.vasexperts.ru) |
| | - Блокировка по черному списку в GTP туннеле (при заданной настройке ''detect_gtp_tunnel'') |
| | - Исправлено: блокировка https с опцией ''hard'' |
| |
| ====Изменения в версии 13.2 BETA2==== | ====Изменения в версии 13.3 BETA2==== |
| |
| - Исправлено: приоритет IP:PORT перед IP и CIDR для кастомных определений протоколов | - [DPI] Улучшено распознавание Viber |
| - Изменено: приоритет кастомных протоколов выше облачных | - Поддержка reload для автономных систем IPv6 |
| - Исправлено: длина АААА записей в услуге 19 | - [Utils] ''bin2as'' принимает любое количество входных файлов как аргументов |
| - Добавлено: в параметр ''block_options'' маска 8 — не формировать RST-пакеты блокировки и переадресации для направления пакетов inet-->subs. [[dpi:dpi_options:opt_filtration:filtration_settings#настройки_блокировки|Описание]] | - [Utils] ''ascheckip'' принимает адреса для гупповой проверки со ''stdin'' |
| | - [Utils] ''bgp2bin'' аналог ''as2bin'', но принимает только подсети /24 и крупнее, понимает формат диапазона IP1-IP2 как в записях ripe (выделяя из него подсети /24 и крупнее), последующие записи приоритетнее предыдущих, создает файл немного крупнее чем ''as2bin'', но в нем диапазоны подсетей не пересекаются (т.к. менее приоритетные записи отфильтрованы), что позволяет передать утилите на вход данные из нескольких источников в порядке приоритета |
| | - [BRAS][PPP] Исправлено: разнородный dual-stack. Один адрес (IPv4 или IPv6) задан явно, для второго (IPv6 или IPv4) указан framed-pool. |
| |
| ====Изменения в версии 13.2 BETA3==== | ====Изменения в версии 13.3 BETA3.2==== |
| |
| - [DPI] Улучшено: анализ out-of-order пакетов | - [DPI] Исправлено: поиск одновременно ''*'' и '':'' в http доменах |
| - [DPI] Исправлено: распознавание DOT | - [DPI] Исправлено: удаление адресов в виртуальных каналах при reload |
| - [CTRL] Добавлено: новый формат для вывода полисинга: <code bash>fdpi_ctrl list profile --policing --profile.name htb_6 --outformat=json2</code> | - [DPI] Исправлено: игнорирования drop при задании параметра ''smartdrop'' при ошибках разбора ssl |
| - [CTRL] Добавлено: загрузка профилей полисинга c новым форматом (где есть value и unit) | - [BRAS][PPP] Исправлено: учет опции ''bras_pppoe_trace_mac'' при сохранение DHCPv6-пакетов в pcap. Ранее учитывалась только опция ''bras_dhcp_trace_mac''. Теперь для DHCPv6-пакетов в PPPoE-туннеле учитывается также и ''bras_pppoe_trace_mac'' |
| - [BRAS][IPv6] Добавлено: при получении от клиента DHCPv6 confirm и отсутствии сессии в БД BRAS отправляется ответ со статусом ''NotOnLink'' | |
| - [FastPCRF][DHCPv6] Исправлено: ошибка, приводящая к закрытию и последующему открытию текущей IPv6 accounting сессии при обработке DHCPv6 запросов от клиента на продление аренды адреса | |
| |
| ====Изменения в версии 13.2 BETA4==== | ====Изменения в версии 13.3 BETA3.3==== |
| |
| - [DPI] Добавлено: обновление ''asnum.bin'' из облака, параметр ''asnum_download'' аналогичен по набору значений ''[[dpi:dpi_options:opt_filtration:filtration_settings|federal_black_list]]'' | - [DPI] Уменьшено число ложных срабатываний для DPI TUNNEL |
| - [DPI] Приоритет CUSTOM протоколов перед другими, загружаемыми из облака | - [DPI] Исправлены ошибки при назначении vchannel по IP/CIDR |
| - [DPI] Добавлено: задание количества буферов для обработки out-of-order пакетов. | |
| - Добавлено: параметр ''mem_ssl_savebl'' (холодный). Задает количество сохраняемых буферов для разбора ssl при перемешивании пакетов.\\ По умолчанию = 10% от ''mem_ssl_parsers''. Если значение == 0 — сохранение и обработка не происходит.\\ Первое значение — из conf, в скобках — то что используется.\\ Пример вывода из alert: | |
| - Параметр не задан<code bash> | |
| mem_ssl_parsers : 320000 | |
| mem_ssl_savebl : -1 (32000)</code> | |
| - Задан ''mem_ssl_savebl=1234''<code bash> | |
| mem_ssl_parsers : 320000 | |
| mem_ssl_savebl : 1234 (1234)</code> | |
| - Добавлено: статистика утилизации сохранения буферов парсинга ssl запросов <code bash> | |
| [STAT ][2024/08/07-13:33:16:262335] Detailed statistics on SSL_SAVEBL : | |
| thread_slave= 0 : 1522/1/32000 0/0/0/0/0/ 1/1/348 348/348/348 | |
| Total : 1522/1/32000 0/0/0/0/0/ 1/1/348 348/348/348</code>Обозначим: ''a1/a2/a3 b1/b2/b3/b4/b5 c1/c2/c3 d1/d2/d3''\\ ''a1'' — размер выделяемой памяти для сохранения записи последующего разбора (совпадает с snaplen)\\ ''a2'' — выделено записей\\ ''a3'' — использовано записей\\ \\ ''b1'' — суммарное количество ошибок при обоработке сохранения пакетов\\ ''b2'' — прочитанный размер буфера очень большой\\ ''b3'' — в функцию передан некорректный ''isbl_t ind_''\\ ''b4'' — ошибка добавления записи в arw — нет места для сохранения списка используемых буферов\\ ''b5'' — ошибка добавления данных в ''p_data'' (не можем сохранить буфер)\\ \\ ''c1'' — количество запросов на сохранение данных\\ ''c2'' — освобождено сохраненных пакетов\\ ''c3'' — суммарный размер пакетов, которые были сохранены\\ \\ ''d1'' — средний размер сохраненного TCP пакета\\ ''d2'' — min размер сохраненного TCP пакета\\ ''d3'' — max размер сохраненного TCP пакета | |
| - [BRAS][DHCPv6] Добавлена возможность извлекать option 37 и option 38 из клиентского пакета | |
| - [Router][tap] Исправлено: инициализация статуса моста при старте fastDPI. TAP-девайс для сквозного LAG находится в состоянии Up, если хотя бы один порт в сквозном LAG находится в состоянии Up и его второй конец в мосту также в Up. Статус моста (Up/Down) вычислялся только при наступлении события link Up/Down, при старте fastDPI статус моста полагался равным Down. Данный патч инициализирует статус мостов (Up/Down) при старте роутера на основании текущего статуса портов. | |
| - [BRAS] Исправлено: local interconnect разрешаем только если srcIP — известный нам абонент. Ранее не проверялось, что srcIP — известный нам абонент, что могло привести к подделке IP-адреса абонента и DDoS от имени этого поддельного IP других локальных абонентов с пометкой local interconnect. | |
| - Добавлено: CLI-команда ''permit'' | |
| |
| ====Изменения в версии 13.2 BETA5==== | ====Изменения в версии 13.3 BETA3.4==== |
| |
| - [DPI] Устранено исчерпание буферов для обработки out-of-order пакетов | - [DPI] Исправлено: блокировка по IP DNS, работающего через tcp |
| - [CLI][Ping] Изменено: сообщение об ошибке, если subs IP не найден | - [DPI] Увеличена глубина просмотра пакетов при поиске BIGOTV |
| - [CLI] Добавлено: В json-вывод команды ''dev xstat'' добавлен булевый признак ''on_stick'' | - [DPI Utils] Исправлена ''checkproto'' для случая IP протокол Unknown |
| - [CLI] Изменено: json-вывод команды ''dev info'' для on-stick.\\ Для on-stick-девайса было:<code bash>"pci_address": "on-stick based on 82:00.3"</code>Теперь:<code bash> // адрес базового девайса | - Начальная поддержка записи alert лога в syslog. Включается настройкой ''syslog_level=7'' (уровень, включительно до которого дублируются сообщения в syslog), по умолчанию не писать. Замечания: |
| "pci_address": "82:00.3" | - По умолчанию rsyslog при записи в текстовый лог заменяет символ табуляции и переводы строк на их коды. Чтобы это отключить можно создать файл ''/etc/rsyslog.d/fastdpi.conf'' с настройкой <code bash>global(parser.escapeControlCharactersOnReceive="off")</code> либо пользоваться утилитой ''journalctl''. Пример: <code bash>journalctl -t fastdpi -p 4 --since "1 hour ago" -o verbose --output-fields PRIORITY,MESSAGE</code> |
| // признак on-stick | - Можно перенаправить запись логов на удаленный сервер. Пример из ''/etc/rsyslog.conf'': |
| "on-stick": "true|false"</code> | - на локальном сервере с fastdpi:<code bash>*.* action(type="omfwd" target="192.0.0.1" port="10514" protocol="tcp" |
| - Изменено: формат статистики <code bash> | action.resumeRetryCount="100" |
| [STAT ][2024/08/19-17:26:05:599912] Detailed statistics on SSL_SAVEBL : | queue.type="linkedList" queue.size="10000")</code> |
| thread_slave= 0 : 1522/1/32000 0/0/0/0/0/ 6/6/2561 426/348/556 1/1/32000 | - на удаленном сервере:<code bash>input(type="imptcp" port="10514" |
| Total : 1522/1/32000 0/0/0/0/0/ 6/6/2561 426/348/556 1/1/32000</code>Обозначим: ''a1/a2/a3 b1/b2/b3/b4/b5 c1/c2/c3 d1/d2/d3 e1/e2/e3''\\ ''a1'' — размер выделяемой памяти для сохранения записи последующего разбора (совпадает с snaplen)\\ ''a2'' — выделено записей\\ ''a3'' — использовано записей\\ \\ ''b1'' — суммарное количество ошибок при обоработке сохранения пакетов\\ ''b2'' — прочитанный размер буфера очень большой\\ ''b3'' — в функцию передан некорректный ''isbl_t ind_''\\ ''b4'' — ошибка добавления запис в arw — нет места для сохранения списка используемых буферов\\ ''b5'' — ошибка добавления данных в ''p_data'' (не можем сохранить буфер)\\ \\ ''c1'' — количество запросов на сохранение данных\\ ''c2'' — освобождено сохраненных пакетов\\ ''c3'' — суммарный размер пакетов, которые были сохранены\\ \\ ''d1'' — средний размер сохраненного TCP пакета\\ ''d2'' — min размер сохраненного TCP пакета\\ ''d3'' — max размер сохраненного TCP пакета\\ \\ ''e1'' — использвоано записей в очереди arw\\ ''e2'' — свободно записей (могут быть повторно использовано)\\ ''e3'' — выделено записей в очереди | ruleset="writeRemoteData") |
| - Удалены поддельные yandex sni из TELEGRAM_TLS | ruleset(name="writeRemoteData" |
| | queue.type="fixedArray" |
| | queue.size="250000" |
| | queue.dequeueBatchSize="4096" |
| | queue.workerThreads="4" |
| | queue.workerThreadMinimumMessages="60000" |
| | ) { |
| | action(type="omfile" file="/var/log/fastdpi.log" |
| | ioBufferSize="64k" flushOnTXEnd="off" |
| | asyncWriting="on")</code> |
| |
| ====Изменения в версии 13.2 BETA6==== | ====Изменения в версии 13.3 BETA3.5==== |
| |
| - [DPI] Добавлена обработка фрагментированного QUIC IETF | - [PCRF] Добавлена поддержка записи в syslog. Новый параметр ''syslog_level'' в fastpcrf.conf — уровень записи сообщений из alert-лога в syslog. ''0'' — запись в syslog отключена (значение по умолчанию) |
| - Добавлен параметр ''mem_quic_ietf_savebl''. Задает количество буферов для разбора ''quic_ietf''-запросов, которые состоят из нескольких пакетов. Значение по умолчанию 15% от ''mem_ssl_parsers'' | - [BRAS][PPP] Исправлено: бродкастные пакеты теперь молча дропаем |
| - [DPI] Добавлены протоколы <code bash> | - [BRAS] Доработка L3-авторизации: |
| "HLS VIDEO" 49298 | * Если приходит Reject на IP-адрес, привязанный к multi-bind логину, то сначала отвязываем этот IP от логина, а затем навешиваем услуги (белый список, полисинг) на IP. |
| "ICMP TUNNEL" 49299 | * При успешной авторизации (Access-Accept): если IP не имеет логина, но при авторизации (успешной) пришел логин - надо отвязать все услуги от IP, прежде чем связывать IP с новым логином. |
| "DNS TUNNEL" 49300 | - [DPI] Изменено: если протокол определился по ip/sni/cname, то не происходит переопределение протокола по встроенным сигнатурам |
| "FORTICLIENT_VPN" 49301 | |
| </code> | |
| - Добавлена возможность отправки DNS query по IPFIX | |
| - [DPDK] Добавлены read-only движки: RSS и диспетчер на порт | |
| - [BRAS][SHCV] Исправлен вызов SHCV до полного запуска пайплайна обработки пакетов. Это было возможно в многопортовых конфигурациях, когда время запуска пайплайна относительно велико. | |
| - [DPDK] Добавлен вывод типа создаваемых mempool на старте fastDPI | |
| - [Router] Добавлена статистика по TAP-девайсам. В вывод CLI-команды ''router vrf show'' добавлена статистика по TAP-девайсам - сколько пакетов/байт вычитано с TAP, сколько записано в порт с TAP, сколько передано в TAP, число событий и ошибок. | |
| - [Router] Изменена отправка пакетов, вычитанных с TAP-девайса: выбранный slave-поток для записи закрепляется за TAP-интерфейсом на ближайшие 5 секунд, что должно значительно уменьшить реордеринг при большом трафике с TAP-интерфейса | |
| | |
| ====Изменения в версии 13.2 BETA7==== | |
| | |
| - [DPI] Исправлено детектирование DNS TUNNEL | |
| - [DPI] Добавлены протоколы <code bash> | |
| "CISCO_ANYCONNECT_VPN" 49302 | |
| "SHADOWSOCKS_VPN" 49303 | |
| "NOT_DNS" 49304 | |
| </code> | |
| - Изменен log level для запросов от телеметрии на INFO независимо от результата запроса | |
| | |
| ====Изменения в версии 13.2 BETA8==== | |
| | |
| - [DPI] Улучшено детектирование CISCO_ANYCONNECT_VPN, SHADOWSOCKS_VPN, DPITUNNEL | |
| - [fastPCRF][ACCT] Исправлена отправка Interim-Update при переключении на резервный RADIUS сервер | |
| | |
| ====Изменения в версии 13.2 BETA8.1==== | |
| | |
| - [BRAS][CLI] Исправлено: абоненты, закрытые по SHCV, теперь не выводятся командой ''fdpi_cli subs prop show active'' | |
| - [BRAS][Auth] Оптимизация подключения/отключения услуг | |
| | |
| ====Изменения в версии 13.2 BETA8.2==== | |
| | |
| - [FastRadius] Разбор конфигурационного файла переведен на новый движок | |
| - [DPI] Улучшено детектирование CISCO_ANYCONNECT_VPN, FORTICLIENT_VPN, SHADOWSOCKS_VPN | |
| | |
| ====Изменения в версии 13.2 BETA9==== | |
| | |
| - [DPI] Улучшена расшифровка фрагментированного QUIC | |
| - [BRAS][DHCP] Offer посылаем сперва на bcast 255.255.255.255 | |
| - [BRAS][CLI] Исправлено: команда ''dhcp show stat vrf'' поддерживается только в режиме Radius proxy (в режиме DHCP Relay вызов этой команды приводил к падению) | |
| | |
| ====Изменения в версии 13.2 BETA9.1==== | |
| | |
| - [DPI] Улучшено распознавание DNS Tunnel и Shadowsocks | |
| - [Utils] Улучшены утилиты. ''checkproto'': если задать IP и SNI, будет выведен результат с учетом MARK1 и приоритета, ''ascheckip'': выводит DSCP и MARK1 | |
| - [Utils] Добавлена поддержка в url2norm окончания имени хоста на '':'', что позволяет задать "любой порт" для HTTP | |
| - [CLI] Исправлена команда ''dhcp disconnect'' | |
| | |
| ====Изменения в версии 13.2 BETA9.2==== | |
| |
| - [DPI] Исправлено: допускается смена протокола по CUSTOM SNI если ранее произошло распознавание по встроенной сигнатуре | ====Изменения в версии 13.3 BETA3.6==== |
| - [DPI] Дополнительная проверка целостности файла при загрузке списка AS из облака | |
| |
| ====Изменения в версии 13.2 BETA9.3==== | - [DPI] Упорядочено соблюдение приоритетов протоколов, что позволяет избежать лишних переключений между протоколами в процессе анализа. |
| |
| - [DPI] Исправлена загрузка черных и белых списков из облака | ====Изменения в версии 13.3 BETA4==== |
| - [utils] Добавлена поддержка новых форматов в утилите обратной конвертации черных и белых списков bin2ip | |
| - Исправлено возможное падение в корку | |
| |
| | - [dpi]Протокол SAYHI переименован в SAYHI_CALL |
| | - [dpi]Добавлены протоколы LINE_CALL (49308), QQ_CALL (49309), VYKE_CALL (49310), VEEGO_STREAMS (49311), BHABI_CAM (49312), WEPARTY (49313) |
| | - [dpi]Изменены протколы BIGOTV, FACETIME |
| | - [dpi][pcrf] Изменен уровень логгирования с INFO на WARNING для сообщений старта и остановки |
| | |
| ====Инструкция по обновлению==== | ====Инструкция по обновлению==== |
| |
| </code> | </code> |
| |
| Откат на 13.1: | Откат на 13.2: |
| |
| <code bash> | <code bash> |
| yum downgrade fastdpi-13.1 fastpcrf-13.1 | yum downgrade fastdpi-13.2 fastpcrf-13.2 |
| </code> | </code> |
| |
