Configuring Clickstream, Meta data, DNS export in IPFIX [Документация VAS Experts]
Документация VAS Experts Документация VAS Experts-mobile
in

Settings

  • Show page
  • Old revisions
  • Export to PDF
  • Fold/unfold all
  • ODT export
  • Backlinks
  • Show page
  • Old revisions
  • Export to PDF
  • Fold/unfold all
  • ODT export
  • Backlinks

    • Differences

    This shows you the differences between two versions of the page.

    Link to this comparison view

    Both sides previous revisionPrevious revision
    Next revision    		Previous revision
    en:dpi:dpi_options:opt_li:li_ipfix [2025/06/26 07:25] – [Metadata Export Setting] elena.krasnobryzhen:dpi:dpi_options:opt_li:li_ipfix [2026/04/02 11:53] (current) – [Configuring the export of DNS responses or DNS queries] elena.krasnobryzh
    Line 8: Line 8:
     Any universal IPFIX collector that accepts templates or the __[[en:dpi:dpi_components:utilities:ipfixreceiver2|IPFIX Receiver]]__ utility is suitable for collecting information in IPFIX format. Any universal IPFIX collector that accepts templates or the __[[en:dpi:dpi_components:utilities:ipfixreceiver2|IPFIX Receiver]]__ utility is suitable for collecting information in IPFIX format.
      
    -To receive, process and store ClickStream, we suggest using the __[[en:dpi:dpi_components:qoestor|QoE Store software]]__ and __[[en:dpi:dpi_components:dpiui|DPIUI2 graphical interface]]__.+To receive, process and store ClickStream, we suggest using the __[[en:dpi:qoe_analytics|QoE Store software]]__ and __[[en:dpi:dpi_components:dpiui|DPIUI2 graphical interface]]__.
      
     If the link quality between SSG and NetFlow/IPFIX collector is insufficient, SSG skips sending some statistics to save performance. A message is displayed in ''fastdpi_alert.log'' when a chunk of information is skipped: If the link quality between SSG and NetFlow/IPFIX collector is insufficient, SSG skips sending some statistics to save performance. A message is displayed in ''fastdpi_alert.log'' when a chunk of information is skipped:
    Line 46: Line 46:
       * **''dbg_log_mask=0x80''** — logging statistics about export.   * **''dbg_log_mask=0x80''** — logging statistics about export.
      
     +The ''ipfix_mtu_limit'' parameter sets the maximum UDP packet size when sending IPFIX. By default, it equals the minimum MTU of the interfaces used for sending.
     ==== IPFIX format template for Clickstream ==== ==== IPFIX format template for Clickstream ====
      
    Line 54: Line 55:
     |  1004 |  16 |  IPv6 |  43823 |IP_DESTINATION |Recipient address| |  1004 |  16 |  IPv6 |  43823 |IP_DESTINATION |Recipient address|
      
    -^  IPFIX format template for Clickstream  ^^^^^^ +^  IPFIX format template for Clickstream                                                                                                                                                                                                                                                           ^^^^^^ 
    -^  № ^  Size in bytes ^  Type  ^  IANA ^  Description  ^  Note  ^ +^  №                                      ^  Size in bytes  ^  Type         ^  IANA   ^  Description             ^  Note                                                                                                                                                                                ^ 
    -|  1001  |  4 |  int32 |  43823  |TIME_STAMP| +|  1001                                   |  4              |  int32        |  43823  | TIME_STAMP               |                                                                                                                                                                                      | 
    -|  1002  |  - |  string |  43823  |LOGIN| +|  1002                                   |  -              |  string       |  43823  | LOGIN                    |                                                                                                                                                                                      | 
    -|  1003  |  4 |  IPv4 |  43823  |IP_SOURCE|Sender address| +|  1003                                   |  4              |  IPv4         |  43823  | IP_SOURCE                | Sender address                                                                                                                                                                       | 
    -|  1004  |  4 |  IPv4 |  43823  |IP_DESTINATION|Recipient address| +|  1004                                   |  4              |  IPv4         |  43823  | IP_DESTINATION           | Recipient address                                                                                                                                                                    | 
    -|  1005  |  - |  string |  43823  |HOSTNAME/CNAME| +|  1005                                   |  -              |  string       |  43823  | HOSTNAME/CNAME           |                                                                                                                                                                                      | 
    -|  1006  |  - |  string |  43823  |PATH| +|  1006                                   |  -              |  string       |  43823  | PATH                     |                                                                                                                                                                                      | 
    -|  1007  |  - |  string |  43823  |REFER| +|  1007                                   |  -              |  string       |  43823  | REFER                    |                                                                                                                                                                                      | 
    -|  1008  |  - |  string |  43823  |USER_AGENT| +|  1008                                   |  -              |  string       |  43823  | USER_AGENT               |                                                                                                                                                                                      | 
    -|  1009  |  - |  string |  43823  |COOCKIE| +|  1009                                   |  -              |  string       |  43823  | COOCKIE                  |                                                                                                                                                                                      | 
    -|  2000  |  8 |  int64 |  43823  |SESSION_ID| +|  2000                                   |  8              |  int64        |  43823  | SESSION_ID               |                                                                                                                                                                                      | 
    -|  1010  |  8 |  int64 |  43823  |LOCKED| +|  1010                                   |  8              |  int64        |  43823  | LOCKED                   |                                                                                                                                                                                      | 
    -|  1011  |  1 |  int8 |  43823  |HOST_TYPE| +|  1011                                   |  1              |  int8         |  43823  | HOST_TYPE                |                                                                                                                                                                                      | 
    -|  1012  |  1 |  int8 |  43823  |METHOD| +|  1012                                   |  1              |  int8         |  43823  | METHOD                   |                                                                                                                                                                                      | 
    -|  1013  |  2 |  int16 |  43823  |PORT_SOURCE| Sender port | +|  1013                                   |  2              |  int16        |  43823  | PORT_SOURCE              | Sender port                                                                                                                                                                          | 
    -|  1014  |  2 |  int16 |  43823  |PORT_DESTINATION| Recipient port | +|  1014                                   |  2              |  int16        |  43823  | PORT_DESTINATION         | Recipient port                                                                                                                                                                       | 
    -|  2016  |  2   |  int16   |  43823  |BRIDGE_CHANNEL_NUM|Channel number (vchannel) or bridge. If vchannel is configured in the DPI configuration, then the channel number will be transmitted, otherwise the bridge number. Used in QoEStor. | +|  2016                                   |  2              |  int16        |  43823  | BRIDGE_CHANNEL_NUM       | Channel number (vchannel) or bridge. If vchannel is configured in the DPI configuration, then the channel number will be transmitted, otherwise the bridge number. Used in QoEStor.  | 
    -|  1024  |  2   |  int16   |  43823  |CipherSuitesLen|Size in bytes of the set of available CipherSuites encryption methods in the Client Hello message| +|  1024                                   |  2              |  int16        |  43823  | CipherSuitesLen          | Size in bytes of the set of available CipherSuites encryption methods in the Client Hello message                                                                                    | 
    -|  1025  |  -   |  raw   |  43823  |CipherSuites|CipherSuites array in Client Hello (max 16 values)| +|  1025                                   |  -              |  raw          |  43823  | CipherSuites             | CipherSuites array in Client Hello (max 16 values)                                                                                                                                   | 
    -|  58    |  2   |  int16   |  -   |VlanId|VLAN| +|  58                                     |  2              |  int16        |  -      | VlanId                   | VLAN                                                                                                                                                                                 | 
    -|  59    |  2   |  int16   |  -     |postVlanID|POST VLAN| +|  59                                     |  2              |  int16        |  -      | postVlanID               | POST VLAN                                                                                                                                                                            | 
    -|  56    |  6   |  mac_address  |  -     |Source MAC Address| +|  56                                     |  6              |  mac_address  |  -      | Source MAC Address       |                                                                                                                                                                                      | 
    -|  57    |  6   |  mac_adress  |  -     |Destination MAC Address| +|  57                                     |  6              |  mac_address  |  -      | Destination MAC Address  |                                                                                                                                                                                      | 
    -|  2017  |  -   |  raw   |  43823  |MPLS Labels| +|  2017                                   |  -              |  raw          |  43823  | MPLS Labels              |                                                                                                                                                                                      | 
    -|  2018  |  4   |  int32   |  43823  |TCP Sequence|+|  2018                                   |  4              |  int32        |  43823  | TCP Sequence             |                                                                                                                                                                                      |
      
     **ND:**  **ND:** 
    Line 168: Line 169:
     |  2017  |  -  |  raw  |  43823  |MPLS Labels| |  2017  |  -  |  raw  |  43823  |MPLS Labels|
     **Notes:** \\ **Notes:** \\
    -IP_SRC --- IP SOURCE\\ +**IP_SRC** — IP SOURCE\\ 
    -IP_DST --- IP DESTINATION\\ +**IP_DST** — IP DESTINATION\\ 
    -GATEWAYS --- comma separated list of gateways (IP or hostname)+**GATEWAYS** — comma separated list of gateways (IP or hostname)
      
     ^  FTP Metadata Export Template IPFIX Format  ^^^^^^ ^  FTP Metadata Export Template IPFIX Format  ^^^^^^
    Line 190: Line 191:
     |  2017  |  -  |  raw  |  43823  |MPLS Labels| |  2017  |  -  |  raw  |  43823  |MPLS Labels|
      
    -**Note:** the MODE field contains the FTP connection type 0 --- active, 1 --- passive+**Note:** the MODE field contains the FTP connection type 0 — active, 1 — passive
      
     ^  Messenger Metadata Export Template IPFIX Format (XMPP)  ^^^^^^ ^  Messenger Metadata Export Template IPFIX Format (XMPP)  ^^^^^^
    Line 212: Line 213:
     |  2017  |  -  |  raw  |  43823  |MPLS Labels| |  2017  |  -  |  raw  |  43823  |MPLS Labels|
      
    -**Note:** the IM_PROTOCOL field contains the type of protocol used: 0 --- ICQ, 7 --- XMPP, 106 --- ZELLO+**Note:** the IM_PROTOCOL field contains the type of protocol used: 0 — ICQ, 7 — XMPP, 106 — ZELLO
      
     ^  IPFIX format of mail protocol metadata export template (POP, IMAP, SMTP)  ^^^^^^ ^  IPFIX format of mail protocol metadata export template (POP, IMAP, SMTP)  ^^^^^^
    Line 237: Line 238:
     |  2017  |  -  |  raw  |  43823  | MPLS Labels | |  2017  |  -  |  raw  |  43823  | MPLS Labels |
      
    -**Note:** the EVENT field indicates the event type 1 --- send, 2 --- receive, \\ +**Note:** the EVENT field indicates the event type 1 — send, 2 — receive, \\ 
    -ATTACHMENT sign of an attachment, mail_protocol = 0 --- smtp, 1 --- pop3, 2 --- imap+ATTACHMENT sign of an attachment, mail_protocol = 0 — smtp, 1 — pop3, 2 — imap
      
     ^  The raw unparsed metadata export template IPFIX format  ^^^^^^ ^  The raw unparsed metadata export template IPFIX format  ^^^^^^
    Line 263: Line 264:
     |  2017  |  -  |  raw  |  43823  |MPLS Labels| |  2017  |  -  |  raw  |  43823  |MPLS Labels|
     **Note:** **Note:**
    -  * **//FLW_DIR//** --- direction of packet on interfaces : 0 : subs --> inet, 1 : inet --> subs \\ +  * **''FLW_DIR''** — direction of packet on interfaces : 0 : subs → inet, 1 : inet → subs \\ 
    -  * **//DIR_DATA//** --- direction of the packet by session: for TCP 0 : client --> server, 1 : server --> client, for UDP --- from whom the first packet was recorded, he is considered the client\\ +  * **''DIR_DATA''** — direction of the packet by session: for TCP 0 : client → server, 1 : server → client, for UDP — from whom the first packet was recorded, he is considered the client\\ 
    -  * **//VDPI_PROTO//** --- protocol that defined dpi\\ +  * **''VDPI_PROTO''** — protocol that defined DPI\\ 
    -  * **//META_PROTO//** --- internal protocol identifier (3 --- SIP, 4 --- FTP, 5 --- SMTP, 6 --- POP3, 7 --- IMAP, 8 --- XMPP, 9 --- ICQ, 10 --- RSS, 11 --- NNTP, 12 --- H323, 13 --- ZELLO)\\ +  * **''META_PROTO''** — internal protocol identifier (3 — SIP, 4 — FTP, 5 — SMTP, 6 — POP3, 7 — IMAP, 8 — XMPP, 9 — ICQ, 10 — RSS, 11 — NNTP, 12 — H323, 13 — ZELLO)\\ 
    -  * **//RAW_DATA//** --- raw data+  * **''RAW_DATA''** — raw data
      
     Aggregating ''raw_data'', ''clickstream'', ''http_reply'' and ''ssl_reply'' with session data requires additional processing or executing a database query with the ''session_id'' key, or support in the ''rcollector'' utility. Aggregating ''raw_data'', ''clickstream'', ''http_reply'' and ''ssl_reply'' with session data requires additional processing or executing a database query with the ''session_id'' key, or support in the ''rcollector'' utility.
      
    -=====DNS=====+=====Configuring the export of DNS responses or DNS queries=====
     DNS export is configured with the following settings: DNS export is configured with the following settings:
     <code bash> <code bash>
    Line 311: Line 312:
     |  2017                              |  -                |  raw          |  43823  | MPLS Labels                                                                                                                                                                                          || |  2017                              |  -                |  raw          |  43823  | MPLS Labels                                                                                                                                                                                          ||
     |  2016                              |  2                |  int16        |  43823  | BRIDGE_CHANNEL_NUM       | Channel (vchannel) or bridge number. If vchannel is set in the DPI configuration, the channel number will be transmitted, otherwise the bridge number will be transmitted  | |  2016                              |  2                |  int16        |  43823  | BRIDGE_CHANNEL_NUM       | Channel (vchannel) or bridge number. If vchannel is set in the DPI configuration, the channel number will be transmitted, otherwise the bridge number will be transmitted  |
     +|  224                               |  8                |  uint64       |  -      | ipTotalLength            | Total IP packet size                                                                                                                                                       |
     +|  3206                              |  2                |  uint16       |  43823  | DNS transaction id       | DNS Transaction ID                                                                                                                                                         |
      
     An alternative is to save the data in a local text log. Parameters: An alternative is to save the data in a local text log. Parameters:
    -  * **''ajb_save_dns''** — flag for writing to a text file\\ **''ajb_save_dns=2''** allows you to enable sending DNS queries via IPFIX+  * **''ajb_save_dns''** — a bit flag that controls whether to log to a text file and enable sending DNS queries via IPFIX. 
     +    * **''ajb_save_dns=0''** — do not save 
     +    * **''ajb_save_dns=1''** — enable saving DNS responses to a file 
     +    * **''ajb_save_dns=2''** — enables sending DNS queries via IPFIX 
     +    * **''ajb_save_dns=3''** — enables sending DNS requests via IPFIX and saving DNS responses to a file 
     + 
     +<note tip>The filter for DNS **request** types to be sent via IPFIX is specified by the ''ajb_save_dns_request_types'' parameter. Values can be specified as ranges using a hyphen, as a list separated by commas, or as the keywords ''all'' (any value) and ''none'' (filter all values). By default, the parameter is set to ''all''.\\ 
     +The filter for DNS **response** types to be sent via IPFIX is specified by the ''ajb_save_dns_answer_types'' parameter. Values can be specified as ranges using hyphens, lists separated by commas, and the keywords ''all'' (any value) and ''none'' (filter all values). By default, the parameter is set to ''1,5,28''.</note> 
       * **''ajb_dns_ftimeout''** — timeout (minutes) for switching to the next file   * **''ajb_dns_ftimeout''** — timeout (minutes) for switching to the next file
       * **''ajb_dns_bufsize''** — file write buffer   * **''ajb_dns_bufsize''** — file write buffer
    Line 321: Line 332:
     Switching to the next file occurs when the file size reaches ''ajb_dns_fsize'' or the file is not empty and ''ajb_dns_ftimeout'' has passed Switching to the next file occurs when the file size reaches ''ajb_dns_fsize'' or the file is not empty and ''ajb_dns_ftimeout'' has passed
      
    -ajb_save_dns_format : format for writing to a text file+''ajb_save_dns_format'': format for writing to a text file
       * **''ts''** - time   * **''ts''** - time
       * **''ipsrc''** — ip source   * **''ipsrc''** — ip source