[发明专利]对超大网络流量处理的负载均衡方法及系统

说明书

本发明公开了对超大网络流量处理的负载均衡方法及系统，首先对IP地址分类器和网络协议分类器进行初始化并创建报文处理队列，将捕获的报文通过分类器分类，满足分类器分类规则的报文将被分配到特定任务队列处理，其他报文则通过选用的均衡策略分发至普通任务队列处理，同时定期评估普通任务队列的均衡效果，在均衡效果不佳的情况下，重新选择适合当前网络的均衡策略。通过本方法解决了传统的网络设备数据处理能力低，任务队列的处理过于集中，多线程处理效果不佳的技术问题。

技术领域

本发明涉及计算机网络安全技术领域，尤其涉及对超大网络流量处理的负载均衡方法及系统。

背景技术：

随着各类网络安全设备在互联网反病毒领域的广泛应用，其所应对的网络环境也越发复杂，这使各类网络安全设备在处理网络数据时的处理能力的要求也相应提高,高速的网络流量决定了网络安全设备需要采用多线程运行来使负载均衡，但对应的负载均衡策略也有诸多问题，例如：1、一些网络安全设备的均衡策略比较单一，导致某些任务队列的处理过于集中，多线程处理效果不佳；2、增加均衡策略后，由于网络安全设备部署的位置千差万别，无法让负载均衡方法自适应，甚至在更换应用环境后需要修改源代码；3、均衡策略选用不当，导致各个队列在使用数据时需要使用线程锁来保护。上述这些问题均会导致网络安全设备并发任务处理效率较低。

发明内容：

针对上述技术问题，本发明提供了对超大网络流量处理的负载均衡方法及系统，该方法包含IP地址分类器和网络协议分类器，通过分类器将满足条件的报文送到特定任务队列中进行处理，避免队列之间线程锁的出现，其他报文通过选用的均衡策略分发至普通任务队列进行处理，实现负载均衡，同时定期评估均衡效果，在均衡效果不佳的情况下，重新选择适合当前网络的均衡策略。

对超大网络流量处理的负载均衡方法，包括：

初始化IP地址分类器和网络协议分类器，IP地址分类器用于识别带有特定IP地址段的报文，网络协议分类器用于识别带有特定网络协议传输的报文；

创建报文处理队列，包括特定任务队列和普通任务队列；

捕获报文；

利用IP地址分类器和网络协议分类器分类报文，判断报文是否符合分类规则，若是则将报文分发到对应分类的特定任务队列进行处理，否则将报文根据均衡策略分发到普通任务队列进行处理；

监测普通任务队列，定期评估当前均衡策略的均衡效果，若均衡效果不佳，重新选择适合当前网络的均衡策略；其中，队列之间负载相差大于20％时，则认为均衡效果不佳。

进一步的，所述捕获报文的方式为pcap、零拷贝或者专用硬件捕包卡。

进一步的，均衡策略包括(1)四元组均衡策略：策略基于源/目的端口和源/目的IP地址，通过hash算法计算，得到对应hash值，再以普通任务队列数量求模，得到对应的队列序号，此为系统默认的均衡策略；(2)IP二元组均衡策略：策略基于源/目的IP地址，通过hash算法计算，得到对应hash值，再以普通任务队列数量求模，得到对应的队列序号；(3)端口二元组均衡策略：策略基于源/目的端口，通过hash算法计算，得到对应hash值，再以普通任务队列数量求模，得到对应的队列序号。

进一步的，在报文分发到普通任务队列前，分别运用每种均衡策略进行模拟分发，分发的结果按照策略编号和队列编号对报文累计计数，分别评估每种均衡策略的均衡效果，选取均衡效果最好的均衡策略。

对超大网络流量处理的负载均衡系统，包括：

分类器初始化模块，用于初始化IP地址分类器和网络协议分类器，IP地址分类器用于识别带有特定IP地址段的报文，网络协议分类器用于识别带有特定网络协议传输的报文；

创建队列模块，用于创建报文处理队列，包括特定任务队列和普通任务队列；