[发明专利]基于冷热分离的流量处理方法及系统

说明书

本发明属于流量处理领域，提供了一种基于冷热分离的流量处理方法及系统。其中，该方法包括获取流数据及相关数据包信息；将流数据的冷流和热流分离并分别存储至Countmax流量统计结构的冷部和热部中，在热部中精确记录热流信息，在冷部中只记录冷流数量而不记录冷流流信息；由Countmax流量统计结构输出冷热流量分离记录结果，以用于攻击检测。

技术领域

本发明属于流量处理领域，尤其涉及一种基于冷热分离的流量处理方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

大规模数据流记录结果可用于流频率估计或DDOS检测等。在大规模数据流中，如果想记录所有流的全部信息，将会消耗大量的存储资源，而在存储资源有限的情况下，在现有的流量统计技术中，Sketch是一种经典的统计结构，现有的基于sketch的大流统计结构典型的思路是将冷流和热流分离分别统计，但发明人发现，现有的解决方案存在两个典型问题：①冷流被误判为热流在热流存储结构中很快被替换掉，造成频繁替换；②以一定概率去减少最小的热流大量的冷流必然会造成热流精度的损失。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种基于冷热分离的流量处理方法及系统，其能够解决现有的基于Sketch统计结构存在的频繁替换的问题，在有限的存储空间下精确记录大规模数据流中的大流数量且记录效率高。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种基于冷热分离的流量处理方法。

一种基于冷热分离的流量处理方法，其包括：

获取流数据及相关数据包信息；

将流数据的冷流和热流分离并分别存储至Countmax流量统计结构的冷部和热部中，在热部中精确记录热流信息，在冷部中只记录冷流数量而不记录冷流流信息；

由Countmax流量统计结构输出冷热流量分离记录结果，以用于攻击检测。

进一步地，Countmax流量统计结构通过将热部每个桶的次热流存储在冷部中每张表的最大值统计部中。

进一步地，数据包信息为五元组信息[源IP，目的IP，源端口，目的端口，协议类型]。

进一步地，在热部中精确记录热流信息的过程中，通过第一哈希函确定当前数据流在热部中的位置。

进一步地，若当前数据流与热部对应位置存储的流匹配，则增加对应位置的计数；若当前数据流与热部对应位置存储的流均不匹配，则检查对应位置是否有空桶。

进一步地，如果有空桶，将当前数据流插入空桶，并将计数置为1；若没有空桶，通过第第二哈希函数和第三哈希函数确定当前数据流在冷部中的位置，当前数据流将会更新冷部对应桶的计数。

进一步地，若更新后的计数值大于这一行的最大值，更新最大值，将最大值与表的最大值统计部的countmax值进行比较，若countmax值大于热部对应位置的最小计数值，用当前数据流的键值替换热部中对应位置最小计数值对应的键值，countmax值替换最小计数值。

本发明的第二个方面提供一种基于冷热分离的流量处理系统。

一种基于冷热分离的流量处理系统，其包括：

流数据获取模块，其用于获取流数据及相关数据包信息；

冷热分离记录模块，其用于将流数据的冷流和热流分离并分别存储至Countmax流量统计结构的冷部和热部中，在热部中精确记录热流信息，在冷部中只记录冷流数量而不记录冷流流信息；