[发明专利]一种报文去重方法、装置、汇聚分流设备及存储介质

说明书

本发明涉及网络数据处理领域，具体涉及一种报文去重方法、装置、汇聚分流设备及存储介质，包括获取待过滤报文，并将待过滤报文存入缓存；计算待过滤报文中前多个字节的哈希值，及计算缓存的循环冗余校验值；获取待过滤报文的预设位置的字节值对应的数据；将由哈希值、循环冗余校验值和预设位置的字节值对应的数据构成的待识别校验码与预设去重表中的校验码进行对比，如果预设去重表中存在待识别校验码，则待过滤报文为重复报文，并将重复报文丢弃。利用该待识别校验码与预设去重表进行对比，进而实现对待过滤报文是否为重复报文的检测，且通过多重对比进而提高对重复报文检测的正确率，以避免出现将不为重复报文的待过滤报文当作重复报文处理。

技术领域

本发明涉及网络数据传输领域，具体涉及一种报文去重方法、装置、汇聚分流设备及存储介质。

背景技术

从网络诞生之日起，就同时存在对网络进行监测和维护的需求。当前，网络流量可视化分析是网络维护保障的发展趋势，目前此类相关产品从应用上可大体分为两类，一种是网络性能分析（NPM），另外一种是业务性能分析（APM），其中，NPM是针对带宽、时延、抖动、丢包、重传、拥塞、网络攻击等网络性能指标进行分析统计和故障定位，APM主要是根据数据报文所承载的业务的具体特性，分析业务质量。

进行网络流量可视化分析的底层基础是对网络线路中实时传输的数据报文进行采集捕获，根据对原始数据包中的相关信息的解析进一步进行统计分析，对数据包完成报文识别、流管理、流统计、规则匹配、包采样、打标等处理，并支持正交连接大流量交换输出。

而在数据传输的过程中存在大量的重复报文，这些重复报文将严重影响网络处理器的处理、传输速度，导致汇聚分流设备处理性能较低。目前现有的报文去重方法对重复报文的识别准确率低，会导致有大量的正常报文当作重复报文处理。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中报文去重方法对重复报文的识别准确率低的缺陷，从而提供一种报文去重方法，包括如下步骤：

获取待过滤报文，并将所述待过滤报文存入缓存；

计算所述待过滤报文中前多个字节的哈希值，及计算所述缓存的循环冗余校验值；

获取所述待过滤报文的预设位置的字节值对应的数据；

将由所述哈希值、循环冗余校验值和所述预设位置的字节值对应的数据构成的待识别校验码与预设去重表中的校验码进行对比，如果所述预设去重表中存在所述待识别校验码，则所述待过滤报文为重复报文，并将所述重复报文丢弃或转发。

优选地，还包括：

如果所述预设去重表中不存在所述待识别校验码，则所述待过滤报文不为重复报文；

并将所述待识别校验码添加至所述预设去重表中。

优选地，所述计算所述待过滤报文中前多个字节的哈希值，包括：

获取所述待过滤报文的去重方式，所述去重方式为全包去重或载荷去重；

如果所述去重方式为全包去重，则从局域网开始计算所述待过滤报文中前多个字节的哈希值；

如果所述去重方式为载荷去重，则从载荷开始计算所述待过滤报文中前多个字节的哈希值。

优选地，所述计算所述缓存的循环冗余校验值，包括：

判断所述待过滤报文占用的缓存的个数；

如果占用的缓存的个数为一个，则计算所述缓存的循环冗余校验值；

如果占用的缓存的个数为多个，则在计算第一个缓存的循环冗余校验值后，继续依次计算剩余所述缓存的循环冗余校验值。