[发明专利]一种协议无关的网络冗余流量消除方法

摘要

本发明公开了一种协议无关的网络冗余流量消除方法，预先从网络中抓取一定数量数据包并按照载荷大小分组并统计分组的数据量累计概率，再确定对应的载荷阈值，发送端对载荷大于等于载荷阈值的数据包进行冗余流量消除对载荷根据弱哈希值进行分块，将每个数据块的强哈希值作为指纹与指纹库中的指纹进行匹配，如果匹配不成功则将该指纹和数据块更新至指纹库和数据块库，发送端用数据包中所有数据块在数据包中的起始位置和在数据块库中的位置作为载荷重新生成数据包并发送给接收端，接收端根据接收数据包中的数据块信息对数据包进行恢复。本发明针对数据包之间的冗余数据进行处理，不受应用层通信协议影响，具有较好的冗余流量消除效果和处理时效。

主权项

一种协议无关的网络冗余流量消除方法，其特征在于，包括以下步骤：S1：在网络中预先设置指纹库和数据块库，指纹库中的指纹和数据块库中的数据块一一对应；S2：设置载荷分组基础字节大小c，根据分组基础字节c将N个数据包划分为X组，其中s表示最大传输单元的大小，表示向上取整；预先在网络中抓取个数据包，提取每个数据包的载荷大小，然后进行分组，将载荷大小范围为[(x‑1)×c,x×c)的数据包分为第x个分组，x的取值范围为x＝1,2,…,X；第x个分组中数据包出现的概率记为px，然后构建次数向量P＝[p1,p2,…,px,…,pX]，载荷大小向量m＝[c,2c,…,x×c,…,X×c]，并计算出载荷总量M＝P*mT，其中，上标T表示转置；计算各分组的数据量概率vx＝(px×x×c)/M，则前Y个分组的数据量累计概率：VY=Σx=1Yvx,Y=1,2,...,X;]]>从小于等于预设数据量累计概率阈值VT的所有数据量累计概率VY中选取出最大值以其对应分组的载荷上限Ymax×c作为数据包冗余流量消除的载荷阈值t；S3：发送端每次构建好一个数据包后，判断其载荷是否大于等于载荷阈值t，如果是，进入步骤S4进行冗余流量消除，如果不是，则不经过冗余流量消除直接传输该数据包；S4：对数据包的载荷进行分块，分块方法包括以下步骤：S4.1：预设两个正整数a、b，并且a＜b，设置滑动窗口大小为Q个字节，以载荷起点为窗口滑动起点；S4.2：令滑动窗口从滑动起点开始以一个字节为步长在载荷上滑动，每滑动一次即计算该窗口内数据的弱哈希值f(Q)，如果a＝mod(f(Q),b)，其中mod(·)表示取余函数，则以本次滑动起点作为数据块起点，当前滑动窗口的末字节K作为数据块终点，进入步骤S4.3；否则继续滑动；S4.3：判断是否分块完毕，如果是，结束载荷分块进入步骤S5；如果不是，令起点为K+1字节，返回步骤S4.2定位下一个数据块；S5：计算该数据包中每个数据块内容的强哈希值作为该数据块的指纹，与指纹库中的指纹进行匹配，如果匹配成功，进入步骤S6，如果匹配不成功，则将该数据块的指纹存入指纹库，将该数据块存入数据块库，进入步骤S6；S6：发送端用数据包中所有数据块在数据包中的起始位置和在数据块库中的位置作为载荷重新生成数据包并发送给接收端，接收端根据各个数据块在数据块库中的位置从数据块库中提取出数据块，并按照数据块在数据包中的起始位置对数据包进行恢复。