[发明专利]一种多源网络流量内容完整还原方法和装置

权利要求书

1.一种多源网络流量内容完整还原方法，其特征在于，包括以下步骤：

S1011：双向流的情况下，采用传输URL、客户端IP地址ClientIP、原始文件总长度TotalLen三者的组合，计算其哈希值作为最终的文件标识ID；

S1012：单向流的情况下，先采用传输七元组对应答侧内容进行唯一标识；

S1013：为支持实时多源检测，设计以分段消息为单位的多源聚合拼接方案，针对任一应用层会话还原的文件分片，设定最大文件分段大小，将一个分片拆分为多个分段消息，以适应超大文件的传输；

S1021：文件传输会话开始时，若当前流是双向流则采用步骤S1011生成文件标识ID，然后跳转到步骤S1022；否则，若当前是请求侧单向流，则采用步骤S1012生成文件标识ID，跳转到步骤S1023；否则，当前是应答侧单向流，采用步骤S1012生成临时文件标识ID，跳转到步骤S1022；

S1022：创建新的文件分段消息上下文，持续处理原始流量，缓存文件内容；

S1023：对文件标识ID和URL建立映射关系，写入索引节点，结束处理；

S1024：以文件标识ID为路由负载因子，将构造的文件分段消息发送到调度节点，相同的文件标识ID发送到相同的调度节点；若文件传输会话结束，则结束处理，否则跳转到步骤S1022；

S2011：接收分段消息；

S2012：查看当前分段的长度是否已完整表示整个文件；

S2013：根据文件标识ID查询索引节点，确定是否已有其他调度节点对该文件标识ID进行了所属声明；

S2014：执行分段消息内容聚合步骤；

S2021：若为首次接收到某文件标识ID的分段消息，则根据文件标识ID建立哈希表；

S2022：根据分段消息的区间检索区间索引树，若无交叠，则插入区间；若有交叠，分别处理左交叠、右交叠、包含、被包含四种重叠关系，对重复的内容进行去重，并合并区间；跳转至步骤SS2023；

S2023：检查当前区间索引树的总长度，若达到了原始文件的总长度，则按顺序遍历区间，输出原始文件内容，否则等待下一个分段消息后执行步骤S2021。

2.根据权利要求1所述的一种多源网络流量内容完整还原方法，其特征在于：所述步骤S1011中文件标识ID的公式为：

。

3.根据权利要求1所述的一种多源网络流量内容完整还原方法，其特征在于：所述步骤S1012中的唯一标识即客户端IP地址ClientIP、客户端端口ClientPort、服务端IP地址ServerIP、服务端端口ServerPort、TCP链接起始序列号TcpSeq、HTTP会话序列号HttpSeq、是否为HTTP Proxy的哈希值作为临时文件标识ID；请求侧和应答侧使用相同的临时文件标识ID，并作为关联ID，应答侧使用该ID获取请求侧信息，然后根据步骤S1011生成最终的文件标识ID，其公式为：

。

4.根据权利要求1所述的一种多源网络流量内容完整还原方法，其特征在于：所述步骤S1013中分段消息是文件内容转发和片段聚合的基本单元，文件分段消息包含以下几个属性：文件标识ID、分段偏移、分段长度、文件总长度、流方向、附属属性信息，分段消息：

，

其中，分段偏移为当前分段消息起始位置相对于原始文件起始位置的偏移。

5.根据权利要求1所述的一种多源网络流量内容完整还原方法，其特征在于：所述步骤S2011中接收的分段消息若为单向流，则根据临时文件标识ID查询索引节点，获取其URL，然后采用步骤S1011重新生成文件标识ID，跳转到步骤S2012；否则，消息分段属于双向流，直接跳转至步骤S2012。

6.根据权利要求1所述的一种多源网络流量内容完整还原方法，其特征在于：所述步骤S2012中当前分段的长度若是已完整表示整个文件，则直接输出文件，结束处理；否则，从消息分段的属性查看是否已鉴定为多源，若是，则跳转至步骤S2014；否则，跳转至步骤S2013。