[发明专利]一种自动识别流量并提取应用规则的方法及装置

说明书

一种自动识别流量并提取应用规则的装置涉及信息技术领域，尤其是网络监管的流量自动识别领域。本发明由流量分类模块、流量过滤模块、http流量自动学习分析模块、非http流量特征提取模块组成；流量分类模块由流量对比器和http流量特征表组成；流量过滤模块由流量过滤器、流量规则指纹库组成；http流量自动学习分析模块由流量类型判断模块、特征字符串匹配分析器、域名和网页title分析器、服务器ip地址分析器组成；非http流量特征提取模块由非http流量记录器和16进制特征转换器组成。本发明在没有提供流量模型指纹的情况下可以实现通过自动学习分析网络流量识别出网络应用流量类型，并且自动学习到的流量特征能生成规则特征库。本发明的推广可以减少人员的工作量，提高工作效率。

技术领域

本发明涉及信息技术领域，尤其是网络安全监管方面的流量自动识别领域。

背景技术

随着互联网流量不断扩充，从2G网，3G网，4G网，及后面演变到5G网，这种演变导致互联网应用流量不断扩容，流量的多样化，再加上互联网应用更新频繁和新的互联网应用快速诞生！网络监管要面对这种庞大的网络数据流和变化多端的网络数据流量，用传统的人工流量分析和应用规则提取，已经很难解决监管的及时性及网络的安全性，并且投入大量的人力和时间也不能完全解决该问题，所以急需要一种新的方法应对该情况。

目前主要的方法是用互联网流量与存在的流量模型指纹匹配来自动化识别。然而基于这种方法存在的缺点是：1.没有考虑新的流量类型不断增多，更新频繁的流量类型没有流量模型指纹匹配；2.流量模型指纹所依赖的特征规则库无法自动生成；3.无法自动更新规则库；4.无法快速自动识别网络数据流量和流量趋势图。本发明在没有提供流量模型指纹的情况下可以实现通过自动学习分析网络流量识别出网络应用流量类型，并且自动学习到的流量特征能生成规则特征库。本发明的推广可以减少人员的工作量，提高工作效率。

共有技术

HOST规则特征就是一个能表示应用网络数据会话的负载中标准字段中host特征表达式，如百度的host规则特征是pkt.payload~Host:[-~]*\.baidu.com*\r\n。

域名正则匹配规则就是针对http流量中的代表域名字段（host）的匹配规则，如：pkt.payload~Host:[-~]*xxx*\r\n。

规则指纹库就是以前分析总结出来的网络应用的流量的规则特征库。

http的标准头部特征为http.request.method时，其值包括：GET，POST，HEAD，PUT，DELETE，OPTIONS，CONNECT，TRACE，PATCH，MOVE，COPY，LINK，UNLINK，WRAPPED，Extension-mothed。

标准字段是HTTP请求时，流量的头部特征包括：Referer:，rf:，Origin:，Content-Type:，User-Agent:，Host:，userToken:，Cookie:，Q-UA2:，Q-GUID:，QQ-S-ZIP:，Apn-Type:，Date:，Pragma:，Range:，Location:，Server:，Last-modified:，PostData。

http的标准头部特征的独有属性就是针对特殊应用自己独有的HTTP的标准字段，例如：qyi-id是爱奇艺http流量独有的，qqread是腾讯阅读http流量独有的。

HTTP流量与非HTTP流量及常用的流量抓取工具：

1.WireShark是一款常见的网络数据包分析工具。该软件可以在线截取各种网络封包，显示网络封包的详细信息，也可分析已有的报文数据，如由tcpdump/WinDump、WireShark等采集的报文数据。WireShark提供多种过滤规则，进行报文过滤。使用者可借助该工具的分析功能，获取多种网络数据特征。