[发明专利]非对称路由环境中HTTP下行流量的处理方法及系统

说明书

技术领域

本发明涉及网络业务识别技术领域，具体涉及一种非对称路由环境下单边HTTP下行流量的分析。

背景技术

DPI(Deep Packet Investigate)深度包检测技术，是一种基于应用层的流量检测技术，当数据流通过基于DPI技术的网络系统时，该系统通过深入读取数据包载荷的内容来对OSI七层协议中的应用层信息进行分析，从而可以识别出用户的访问行为、访问的数据等。

理想情况下(对称路由)，用户发送的请求报文和服务器返回给用户的响应报文会走相同的网络路径，也就是说，DPI设备可以同时捕获到用户的上下行流量，获取到完整的报文。这种情况下，非常有利于分析人员及DPI设备去识别出用户的访问行为。

随着DPI设备部署的环境越来越复杂，发现非对称环境下(用户请求的报文和服务器响应的报文只有一边流经DPI设备)的流量越来越越多，而只有单边流量会急剧降低DPI设备的分析能力。

HTTP(HyperText Transport Protocol)是超文本传输协议的缩写，它用于传送WWW方式的数据，关于HTTP协议的详细内容请参考RFC2616。HTTP协议采用了请求/响应模型。客户端向服务器发送一个请求，请求头包含请求的方法、URL、协议版本、以及包含请求修饰符、客户信息和内容的类似于MIME的消息结构。服务器以一个状态行作为响应，响应的内容包括消息协议的版本，成功或者错误编码加上包含服务器信息、实体元信息以及可能的实体内容。

本方法就是针对这种因非对称路由环境而产生的单向下行的HTTP流量，于只有下行流量，获取不到用户访问的URI信息。虽然我们不知道用户具体访问了那个页面，但我们可以获取到服务器对应的IP地址和端口。而通过HTTP协议访问这个IP地址和端口：即为访问这个网站的首页，一般网站在其首页都会有明显的版权保护及视觉标识自己的网站，通过分析这些内容，很容易确定这个网站的具体分类信息，从而提高DPI设备的分析能力。

发明内容

本发明提供了一种分析因非对称路由环境而产生的单边下行Http流量的方法和系统，以解决现有技术中DPI设备分析能力低的问题。

为解决上述问题，本发明的一种分析因非对称路由环境而产生的单边上行未知流量的方法，其特征在于包括以下步骤：

步骤101，从不能识别的单向未知流量中提取未知的服务器端IP地址及对应端口号,

步骤102，反馈这些IP地址及端口号到爬虫模块，

步骤103，使用爬虫对提取的IP和端口进行爬取，

步骤104，判断爬虫是否爬取到页面，如果是，进入步骤105；否则，由于爬取不到页面，无法确定该IP及端口属于那个应用的服务器的IP和端口，

步骤105，使用现有的协议库及引擎，对这些http页面进行分析识别，

步骤106，判断能否识别，即判断http页面能否识别为某个应用，如果可以，则直接进入步骤108；否则，进入步骤107，

步骤107，在http页面不能识别为某个应用时，需要协议分析人员对爬取的http页面进行分析，以确定该页面所属应用，

步骤108，在确定http页面所属应用后，将该IP、端口、协议作为该应用特征更新至规则库中。

优选的，所述步骤107中不能识别某个应用的情形包括规则库没有覆盖到该应用，或者虽然覆盖到了该应用，但规则有遗漏。

优选的，所述步骤107中的分析包括将分析出的规则特征也需更新到规则库中。

优选的，所述协议包括tcp/udp协议。

此外，本发明还提供了一种因非对称路由环境而产生的单边上行未知流量的系统，其特征在于包括：

信息提取模块，从不能识别的单向未知流量中提取未知的服务器端IP地址及对应端口号,

信息反馈模块，反馈这些IP地址及端口号到爬虫模块，

爬虫模块，使用爬虫对提取的IP和端口进行爬取，

页面判断模块，判断爬虫是否爬取到页面，如果是，则由分析识别模块使用现有的协议库及引擎，对这些http页面进行分析识别；否则，由于爬取不到页面，无法确定该IP及端口属于那个应用的服务器的IP和端口，

应用判断模块，判断能否分析识别这些页面，即判断http页面能否识别为某个应用，如果可以，则由特征更新模块将该IP、端口、协议作为该应用特征更新至规则库中，否则在http页面不能识别为某个应用时，需要协议分析人员对爬取的http页面进行分析，以确定该页面所属应用，