[发明专利]一种高速网络的内容还原方法

说明书

技术领域

本发明涉及互联网及物联网的信息管理领域，特别是涉及一种IP报文及基于该IP报文的信息处理方法及装置。

背景技术

TCP/IP(传输控制协议/网际协议)起源于60年代末美国政府资助的一个分组交换网络研究项目，到90年代已发展成为计算机全球互联网的基本通信语言和协议。TCP/IP是一个四层的协议系统，每一层负责不同的功能且包含多种协议：

1)链路层：处理与电缆(或其他任何传输媒介)的物理接口细节。

2)网络层：处理分组在网络中的活动，具体包括IP协议、ICMP协议、IGMP协议等。

3)传输层：为互联网中两个端点提供高可靠的数据通信，传输层将应用程序交付的数据分成合适的小块交给并网络层，确认接收到的分组，设置发送最后确认分组的超时时钟等。包括TCP协议、UDP协议等。

4)应用层：负责处理特定的应用程序细节，包括HTTP协议、WSP协议等。随着互联网应用范围的扩大，越来越多的新的应用协议被开发并应用于其中。

传输层的TCP协议是一种面向连接的协议，其为互联网用户提供了可靠的数据传输，同时，互联网中大多数流行的应用层协议，如FTP、SMTP、HTTP、WSP等都采用了TCP传输协议。

当前，以TCP/IP为基础建立起来的互联网已经遍布世界的各个角落，作为一种自由、开放的网络结构，在为人们带来便利的同时，网络中的不良信息也随之开始大肆地传播，严重威胁到国家与社会的稳定，如何有效管控这些网络不良信息的网络传播，已成为社会各界普遍关注的主题。

计算机中常用的操作系统(如：Windows、Linux等)都已自带TCP/IP协议栈，在接入到互联网中时，可以十分轻松地处理本地的互联网请求。但是，随着互联网用户呈几何样的增长后，若想在高速网络流量中的超大并发互联网用户环境下对这些非法信息进行有效管控，仅仅依靠单机操作系统中实现的TCP/IP协议栈已经远远不能达到预期的目的，需要重新设计一种新的解决方案来解决此问题。

发明内容

针对现有技术中存在的缺陷和不足，本发明的目的是通过一种高速网络的内容还原方法，能够在高速互联网的环境中快速、正确还原互联网中用户上网访问内容信息和行为特征信息，而且能保证在高速互联网络环境下用户上网访问内容信息和行为特征信息的还原性能，为互联网应用层数据信息的实时还原提供一种非常好的解决方案。

为了实现上述目的，本发明提出一种高速网络的内容还原方法，包括以下步骤：

步骤1：将捕获的数据包放入预先分配好的环形缓冲；

步骤2：从环形缓冲中读取数据包并进行解析，获得TCP连接会话的IP多元组，再通过散列函数计算得到散列值；

步骤3：判断所述散列值是否是新的，若是，执行步骤4，若否，执行步骤5；

步骤4：存储报文并记录该报文的序列号或应答号，然后返回步骤1；

步骤5：使用IP多元组在解决冲突的拉链中查找对应的TCP连接会话，若没有找到对应的TCP连接会话，解决散列值冲突后返回步骤4，否则执行步骤6；

步骤6：根据TCP协议以及步骤4中记录的序列号或应答号进行数据包内容的连接，将连接成功的放入排好序的链表中，将连接失败的放入失序的链表等待下一次的重组，然后返回步骤1，其中，下一次的重组在下一次连接成功后被触发；

同时，多个线程分别将各自分段处理的已经完成的重组内容写入硬盘，并保留排好序的最后一个数据包；当该TCP连接会话全部重组完毕，将保留的最后一个数据包写入硬盘。

作为上述技术方案的优选，所述IP多元组中包括：源IP、源端口、目的IP和目的端口。

作为上述技术方案的优选，所述步骤5中解决散列值冲突的方法使用拉链法。

作为上述技术方案的优选，所述步骤4中从服务器端握手阶段发出的SYN/ACK数据报文开始存储。

作为上述技术方案的优选，所述TCP连接会话全部重组完毕的判断条件具体为：

条件1：查看该TCP连接会话的应用数据是否全部接收完毕，如是，则该TCP连接会话的应用数据已全部接收并重组完毕；

或者，条件2：为该TCP连接会话设定T1定时器和会话权重，若在T1时间内有新的数据包到达则会话权重加w2，若在T1时间内没有新的数据包到达则会话权重减w1，且w2≥w1，当会话权重减小到小于设定的会话权重时，则该TCP连接会话全部接收并重组完毕；