Configuring Clickstream, Meta data, DNS export in IPFIX [Документация VAS Experts]
Документация VAS Experts Документация VAS Experts-mobile
in

Settings

  • Show page
  • Old revisions
  • Export to PDF
  • Fold/unfold all
  • Backlinks
  • Show page
  • Old revisions
  • Export to PDF
  • Fold/unfold all
  • Backlinks

    • Differences

    This shows you the differences between two versions of the page.

    Link to this comparison view

    Both sides previous revisionPrevious revision
    Next revision    		Previous revision
    en:dpi:dpi_options:opt_li:li_ipfix [2024/09/26 15:29] – внешнее изменение 127.0.0.1en:dpi:dpi_options:opt_li:li_ipfix [2025/10/31 08:56] (current) – elena.krasnobryzh
    Line 1: Line 1:
    -====== IPFIX export ======+====== Configuring Clickstream, Meta data, DNS export in IPFIX ======
     {{indexmenu_n>3}} {{indexmenu_n>3}}
      
    Line 8: Line 8:
     Any universal IPFIX collector that accepts templates or the __[[en:dpi:dpi_components:utilities:ipfixreceiver2|IPFIX Receiver]]__ utility is suitable for collecting information in IPFIX format. Any universal IPFIX collector that accepts templates or the __[[en:dpi:dpi_components:utilities:ipfixreceiver2|IPFIX Receiver]]__ utility is suitable for collecting information in IPFIX format.
      
    -To receive, process and store ClickStream, we suggest using the __[[en:dpi:dpi_components:qoestor|QoE Store software]]__ and __[[en:dpi:dpi_components:dpiui|DPIUI2 graphical interface]]__.+To receive, process and store ClickStream, we suggest using the __[[en:dpi:qoe_analytics|QoE Store software]]__ and __[[en:dpi:dpi_components:dpiui|DPIUI2 graphical interface]]__.
      
     If the link quality between SSG and NetFlow/IPFIX collector is insufficient, SSG skips sending some statistics to save performance. A message is displayed in ''fastdpi_alert.log'' when a chunk of information is skipped: If the link quality between SSG and NetFlow/IPFIX collector is insufficient, SSG skips sending some statistics to save performance. A message is displayed in ''fastdpi_alert.log'' when a chunk of information is skipped:
    Line 41: Line 41:
      
     here here
    -  * **//em1//** - NIC using for export.  +  * **''em1''** — NIC using for export.  
    -  * **//ipfix_udp_collectors//** - IP of udp collectors. +  * **''ipfix_udp_collectors''** — IP of udp collectors. 
    -  * **//ipfix_tcp_collectors//** - IP of tcp collectors. +  * **''ipfix_tcp_collectors''** — IP of tcp collectors. 
    -  * **//dbg_log_mask=0x80//** - logging statistics about export.+  * **''dbg_log_mask=0x80''** — logging statistics about export.
      
     +The ''ipfix_mtu_limit'' parameter sets the maximum UDP packet size when sending IPFIX. By default, it equals the minimum MTU of the interfaces used for sending.
     ==== IPFIX format template for Clickstream ==== ==== IPFIX format template for Clickstream ====
      
    -The format of IPFIX templates for IPV6 differs only in the //IP_SOURCE// and //IP_DESTINATION// fields.+The format of IPFIX templates for IPV6 differs only in the **IP_SOURCE** and **IP_DESTINATION** fields.
      
     ^  № ^  Size in bytes ^  Type ^  IANA ^  Description ^  Note  ^ ^  № ^  Size in bytes ^  Type ^  IANA ^  Description ^  Note  ^
    Line 54: Line 55:
     |  1004 |  16 |  IPv6 |  43823 |IP_DESTINATION |Recipient address| |  1004 |  16 |  IPv6 |  43823 |IP_DESTINATION |Recipient address|
      
    -^  IPFIX format template for Clickstream  ^^^^^^ +^  IPFIX format template for Clickstream                                                                                                                                                                                                                                                           ^^^^^^ 
    -^  № ^  Size in bytes ^  Type  ^  IANA ^  Description  ^  Note  ^ +^  №                                      ^  Size in bytes  ^  Type         ^  IANA   ^  Description             ^  Note                                                                                                                                                                                ^ 
    -|  1001  |  4 |  int32 |  43823  |TIME_STAMP| +|  1001                                   |  4              |  int32        |  43823  | TIME_STAMP               |                                                                                                                                                                                      | 
    -|  1002  |  - |  string |  43823  |LOGIN| +|  1002                                   |  -              |  string       |  43823  | LOGIN                    |                                                                                                                                                                                      | 
    -|  1003  |  4 |  IPv4 |  43823  |IP_SOURCE|Sender address| +|  1003                                   |  4              |  IPv4         |  43823  | IP_SOURCE                | Sender address                                                                                                                                                                       | 
    -|  1004  |  4 |  IPv4 |  43823  |IP_DESTINATION|Recipient address| +|  1004                                   |  4              |  IPv4         |  43823  | IP_DESTINATION           | Recipient address                                                                                                                                                                    | 
    -|  1005  |  - |  string |  43823  |HOSTNAME/CNAME| +|  1005                                   |  -              |  string       |  43823  | HOSTNAME/CNAME           |                                                                                                                                                                                      | 
    -|  1006  |  - |  string |  43823  |PATH| +|  1006                                   |  -              |  string       |  43823  | PATH                     |                                                                                                                                                                                      | 
    -|  1007  |  - |  string |  43823  |REFER| +|  1007                                   |  -              |  string       |  43823  | REFER                    |                                                                                                                                                                                      | 
    -|  1008  |  - |  string |  43823  |USER_AGENT| +|  1008                                   |  -              |  string       |  43823  | USER_AGENT               |                                                                                                                                                                                      | 
    -|  1009  |  - |  string |  43823  |COOCKIE| +|  1009                                   |  -              |  string       |  43823  | COOCKIE                  |                                                                                                                                                                                      | 
    -|  2000  |  8 |  int64 |  43823  |SESSION_ID| +|  2000                                   |  8              |  int64        |  43823  | SESSION_ID               |                                                                                                                                                                                      | 
    -|  1010  |  8 |  int64 |  43823  |LOCKED| +|  1010                                   |  8              |  int64        |  43823  | LOCKED                   |                                                                                                                                                                                      | 
    -|  1011  |  1 |  int8 |  43823  |HOST_TYPE| +|  1011                                   |  1              |  int8         |  43823  | HOST_TYPE                |                                                                                                                                                                                      | 
    -|  1012  |  1 |  int8 |  43823  |METHOD| +|  1012                                   |  1              |  int8         |  43823  | METHOD                   |                                                                                                                                                                                      | 
    -|  1013  |  2 |  int16 |  43823  |PORT_SOURCE| Sender port | +|  1013                                   |  2              |  int16        |  43823  | PORT_SOURCE              | Sender port                                                                                                                                                                          | 
    -|  1014  |  2 |  int16 |  43823  |PORT_DESTINATION| Recipient port | +|  1014                                   |  2              |  int16        |  43823  | PORT_DESTINATION         | Recipient port                                                                                                                                                                       | 
    -|  2016  |  2   |  int16   |  43823  |BRIDGE_CHANNEL_NUM|Channel number (vchannel) or bridge. If vchannel is configured in the DPI configuration, then the channel number will be transmitted, otherwise the bridge number. Used in QoEStor. | +|  2016                                   |  2              |  int16        |  43823  | BRIDGE_CHANNEL_NUM       | Channel number (vchannel) or bridge. If vchannel is configured in the DPI configuration, then the channel number will be transmitted, otherwise the bridge number. Used in QoEStor.  | 
    -|  1024  |  2   |  int16   |  43823  |CipherSuitesLen|Size in bytes of the set of available CipherSuites encryption methods in the Client Hello message| +|  1024                                   |  2              |  int16        |  43823  | CipherSuitesLen          | Size in bytes of the set of available CipherSuites encryption methods in the Client Hello message                                                                                    | 
    -|  1025  |  -   |  raw   |  43823  |CipherSuites|CipherSuites array in Client Hello (max 16 values)| +|  1025                                   |  -              |  raw          |  43823  | CipherSuites             | CipherSuites array in Client Hello (max 16 values)                                                                                                                                   | 
    -|  58    |  2   |  int16   |  -   |VlanId|VLAN| +|  58                                     |  2              |  int16        |  -      | VlanId                   | VLAN                                                                                                                                                                                 | 
    -|  59    |  2   |  int16   |  -     |postVlanID|POST VLAN| +|  59                                     |  2              |  int16        |  -      | postVlanID               | POST VLAN                                                                                                                                                                            | 
    -|  56    |  6   |  mac_address  |  -     |Source MAC Address| +|  56                                     |  6              |  mac_address  |  -      | Source MAC Address       |                                                                                                                                                                                      | 
    -|  57    |  6   |  mac_adress  |  -     |Destination MAC Address| +|  57                                     |  6              |  mac_address  |  -      | Destination MAC Address  |                                                                                                                                                                                      | 
    -|  2017  |  -   |  raw   |  43823  |MPLS Labels| +|  2017                                   |  -              |  raw          |  43823  | MPLS Labels              |                                                                                                                                                                                      | 
    -|  2018  |  4   |  int32   |  43823  |TCP Sequence|+|  2018                                   |  4              |  int32        |  43823  | TCP Sequence             |                                                                                                                                                                                      |
      
     **ND:**  **ND:** 
    -  * LOCKED = 1 - blocked by HTTPS, 2 - HTTP redirect, 3 - blocked by HTTP (transmitted by bitmask) +  * LOCKED = 1 — blocked by HTTPS, 2 — HTTP redirect, 3 — blocked by HTTP (transmitted by bitmask) 
    -  * HOST TYPE = 1 in case of HTTP, 2 - CNAME, 3 - SNI, 4 - QUIC +  * HOST TYPE = 1 in case of HTTP, 2 — CNAME, 3 — SNI, 4 — QUIC 
    -  * METHOD = 1 - GET, 2 - POST, 3 - PUT, 4 - DELETE+  * METHOD = 1 — GET, 2 — POST, 3 — PUT, 4 — DELETE
      
    -If the configuration parameter "//http_parse_reply=1//" is enabled, information from responses to requests will be additionally transmitted. You can associate them with responses by the session identifier //SESSION_ID//, taking into account the order.+If the configuration parameter ''http_parse_reply=1'' is enabled, information from responses to requests will be additionally transmitted. You can associate them with responses by the session identifier **SESSION_ID**, taking into account the order.
      
     ^  Clickstream export template IPFIX format for HTTP responses((for the IPv6 variant see difference above))  ^^^^^^ ^  Clickstream export template IPFIX format for HTTP responses((for the IPv6 variant see difference above))  ^^^^^^
    Line 106: Line 107:
     |  2017  |  -  |  raw  |  43823  |MPLS Labels| |  2017  |  -  |  raw  |  43823  |MPLS Labels|
      
    -If the configuration parameter "//ssl_parse_reply=1//" is enabled, information from responses to requests will be additionally transmitted. You can associate them with responses by the session identifier //SESSION_ID//, taking into account the order.+If the configuration parameter ''ssl_parse_reply=1'' is enabled, information from responses to requests will be additionally transmitted. You can associate them with responses by the session identifier **SESSION_ID**, taking into account the order.
      
     ^  Clickstream export template IPFIX format for responses over SSL/TLS, HTTPS((for the IPv6 variant, see difference above))  ^^^^^^ ^  Clickstream export template IPFIX format for responses over SSL/TLS, HTTPS((for the IPv6 variant, see difference above))  ^^^^^^
    Line 139: Line 140:
      
     where where
    -  * **//em1//** - network interface name for export\\ +  * **''em1''** — network interface name for export\\ 
    -  * **//ipfix_meta_udp_collectors//** - udp addresses of collectors\\ +  * **''ipfix_meta_udp_collectors''** — udp addresses of collectors\\ 
    -  * **//ipfix_meta_tcp_collectors//** - tcp addresses of collectors\\ +  * **''ipfix_meta_tcp_collectors''** — tcp addresses of collectors\\ 
    -  * **//dbg_log_mask=0x80//** - output of statistical information about export to the log+  * **''dbg_log_mask=0x80''** — output of statistical information about export to the log
      
     ==== IPFIX metadata export template formats ==== ==== IPFIX metadata export template formats ====
    Line 168: Line 169:
     |  2017  |  -  |  raw  |  43823  |MPLS Labels| |  2017  |  -  |  raw  |  43823  |MPLS Labels|
     **Notes:** \\ **Notes:** \\
    -IP_SRC --- IP SOURCE\\ +**IP_SRC** — IP SOURCE\\ 
    -IP_DST --- IP DESTINATION\\ +**IP_DST** — IP DESTINATION\\ 
    -GATEWAYS --- comma separated list of gateways (IP or hostname)+**GATEWAYS** — comma separated list of gateways (IP or hostname)
      
     ^  FTP Metadata Export Template IPFIX Format  ^^^^^^ ^  FTP Metadata Export Template IPFIX Format  ^^^^^^
    Line 190: Line 191:
     |  2017  |  -  |  raw  |  43823  |MPLS Labels| |  2017  |  -  |  raw  |  43823  |MPLS Labels|
      
    -**Note:** the MODE field contains the FTP connection type 0 --- active, 1 --- passive+**Note:** the MODE field contains the FTP connection type 0 — active, 1 — passive
      
     ^  Messenger Metadata Export Template IPFIX Format (XMPP)  ^^^^^^ ^  Messenger Metadata Export Template IPFIX Format (XMPP)  ^^^^^^
    Line 212: Line 213:
     |  2017  |  -  |  raw  |  43823  |MPLS Labels| |  2017  |  -  |  raw  |  43823  |MPLS Labels|
      
    -**Note:** the IM_PROTOCOL field contains the type of protocol used: 0 --- ICQ, 7 --- XMPP, 106 --- ZELLO+**Note:** the IM_PROTOCOL field contains the type of protocol used: 0 — ICQ, 7 — XMPP, 106 — ZELLO
      
     ^  IPFIX format of mail protocol metadata export template (POP, IMAP, SMTP)  ^^^^^^ ^  IPFIX format of mail protocol metadata export template (POP, IMAP, SMTP)  ^^^^^^
    Line 237: Line 238:
     |  2017  |  -  |  raw  |  43823  | MPLS Labels | |  2017  |  -  |  raw  |  43823  | MPLS Labels |
      
    -**Note:** the EVENT field indicates the event type 1 --- send, 2 --- receive, \\ +**Note:** the EVENT field indicates the event type 1 — send, 2 — receive, \\ 
    -ATTACHMENT sign of an attachment, mail_protocol = 0 --- smtp, 1 --- pop3, 2 --- imap+ATTACHMENT sign of an attachment, mail_protocol = 0 — smtp, 1 — pop3, 2 — imap
      
     ^  The raw unparsed metadata export template IPFIX format  ^^^^^^ ^  The raw unparsed metadata export template IPFIX format  ^^^^^^
    Line 263: Line 264:
     |  2017  |  -  |  raw  |  43823  |MPLS Labels| |  2017  |  -  |  raw  |  43823  |MPLS Labels|
     **Note:** **Note:**
    -  * **//FLW_DIR//** --- direction of packet on interfaces : 0 : subs --> inet, 1 : inet --> subs \\ +  * **''FLW_DIR''** — direction of packet on interfaces : 0 : subs → inet, 1 : inet → subs \\ 
    -  * **//DIR_DATA//** --- direction of the packet by session: for TCP 0 : client --> server, 1 : server --> client, for UDP --- from whom the first packet was recorded, he is considered the client\\ +  * **''DIR_DATA''** — direction of the packet by session: for TCP 0 : client → server, 1 : server → client, for UDP — from whom the first packet was recorded, he is considered the client\\ 
    -  * **//VDPI_PROTO//** --- protocol that defined dpi\\ +  * **''VDPI_PROTO''** — protocol that defined DPI\\ 
    -  * **//META_PROTO//** --- internal protocol identifier (3 --- SIP, 4 --- FTP, 5 --- SMTP, 6 --- POP3, 7 --- IMAP, 8 --- XMPP, 9 --- ICQ, 10 --- RSS, 11 --- NNTP, 12 --- H323, 13 --- ZELLO)\\ +  * **''META_PROTO''** — internal protocol identifier (3 — SIP, 4 — FTP, 5 — SMTP, 6 — POP3, 7 — IMAP, 8 — XMPP, 9 — ICQ, 10 — RSS, 11 — NNTP, 12 — H323, 13 — ZELLO)\\ 
    -  * **//RAW_DATA//** --- raw data+  * **''RAW_DATA''** — raw data
      
     Aggregating ''raw_data'', ''clickstream'', ''http_reply'' and ''ssl_reply'' with session data requires additional processing or executing a database query with the ''session_id'' key, or support in the ''rcollector'' utility. Aggregating ''raw_data'', ''clickstream'', ''http_reply'' and ''ssl_reply'' with session data requires additional processing or executing a database query with the ''session_id'' key, or support in the ''rcollector'' utility.
      
    -=====DNS=====+=====Configuring the export of DNS responses or DNS queries=====
     DNS export is configured with the following settings: DNS export is configured with the following settings:
     <code bash> <code bash>
    Line 279: Line 280:
     </code> </code>
     where  where 
    -  * **''em1''** --- the name of the network interface to export.\\  +  * **''em1''** — the name of the network interface to export.\\  
    -  * **''ipfix_dns_udp_collectors''** --- UDP addresses of collectors.\\  +  * **''ipfix_dns_udp_collectors''** — UDP addresses of collectors.\\  
    -  * **''ipfix_dns_tcp_collectors''** --- TCP collector addresses.\\ +  * **''ipfix_dns_tcp_collectors''** — TCP collector addresses.\\ 
      
     The format of IPFIX templates for IPV6 differs in the format of the ''IP_SOURCE'' and ''IP_DESTINATION'' fields. The format of IPFIX templates for IPV6 differs in the format of the ''IP_SOURCE'' and ''IP_DESTINATION'' fields.
    Line 311: Line 312:
     |  2017                              |  -                |  raw          |  43823  | MPLS Labels                                                                                                                                                                                          || |  2017                              |  -                |  raw          |  43823  | MPLS Labels                                                                                                                                                                                          ||
     |  2016                              |  2                |  int16        |  43823  | BRIDGE_CHANNEL_NUM       | Channel (vchannel) or bridge number. If vchannel is set in the DPI configuration, the channel number will be transmitted, otherwise the bridge number will be transmitted  | |  2016                              |  2                |  int16        |  43823  | BRIDGE_CHANNEL_NUM       | Channel (vchannel) or bridge number. If vchannel is set in the DPI configuration, the channel number will be transmitted, otherwise the bridge number will be transmitted  |
     +|  224                               |  8                |  uint64       |  -      | ipTotalLength            | Total IP packet size                                                                                                                                                       |
     +|  3206                              |  2                |  uint16       |  43823  | DNS transaction id       | DNS Transaction ID                                                                                                                                                         |
      
     An alternative is to save the data in a local text log. Parameters: An alternative is to save the data in a local text log. Parameters:
    -  * **//ajb_save_dns//** - flag for writing to a text file +  * **''ajb_save_dns''** — flag for writing to a text file.\\ 
    -  * **//ajb_dns_ftimeout//** - timeout (minutes) for switching to the next file +    * **''ajb_save_dns=0''** — do not save 
    -  * **//ajb_dns_bufsize//** - file write buffer +    * **''ajb_save_dns=1''** — by default, send DNS responses via IPFIX 
    -  * **//ajb_dns_fsize//** - file size limit +    * **''ajb_save_dns=2''** — enables sending DNS queries via IPFIX 
    -  * **//ajb_dns_path//**- path where to write+    * **''ajb_save_dns=4''** — save DNS responses of type MX 
     +  * **''ajb_dns_ftimeout''** — timeout (minutes) for switching to the next file 
     +  * **''ajb_dns_bufsize''** — file write buffer 
     +  * **''ajb_dns_fsize''** — file size limit 
     +  * **''ajb_dns_path''** — path where to write
      
    -Switching to the next file occurs when the file size reaches //ajb_dns_fsize// or the file is not empty and //ajb_dns_ftimeout// has passed+Switching to the next file occurs when the file size reaches ''ajb_dns_fsize'' or the file is not empty and ''ajb_dns_ftimeout'' has passed
      
    -ajb_save_dns_format : format for writing to a text file +''ajb_save_dns_format'': format for writing to a text file 
    -  * **"ts"** - time +  * **''ts''** - time 
    -  * **"ipsrc"** - ip source +  * **''ipsrc''** — ip source 
    -  * **"ipdst"** - ip destination +  * **''ipdst''** — ip destination 
    -  * **"ssid"** - session id +  * **''ssid''** — session id 
    -  * **"login"** - understandable+  * **''login''** — understandable
      
    -  * **"host"** - the name of which the information was requested +  * **''host''** — the name of which the information was requested 
    -  * **"rrtype"** - RR types +  * **''rrtype''** — RR types 
    -  * **"rrclass"** - RR class +  * **''rrclass''** — RR class 
    -  * **"ttl"** - TTL +  * **''ttl''** — TTL 
    -  * **"rdlen"** - rdata size +  * **''rdlen''** — rdata size 
    -  * **"rdata"** - the resource itself +  * **''rdata''** — the resource itself 
    -  * **"psrc"** - port source +  * **''psrc''** — port source 
    -  * **"pdst"** - port destination +  * **''pdst''** — port destination 
    -  * **"transport"** - how the DNS query was received.+  * **''transport''** — how the DNS query was received.
      
     Default: ''ts:ssid:login:ipsrc:ipdst:psrc:pdst:transport:host:rrtype:rrclass:ttl:rdlen:rdata'' Default: ''ts:ssid:login:ipsrc:ipdst:psrc:pdst:transport:host:rrtype:rrclass:ttl:rdlen:rdata''
     +
     +=====Sending Template in IPFIX=====
     +  - Transport protocol TCP.\\ The Template is sent once after the TCP session is established.
     +  - Transport protocol UDP.\\ The Template is sent by default every 20 seconds. This is controlled by the ''ipfix_udp_template_timer'' parameter.