[发明专利]一种海量流量下报文识别的方法和装置

说明书

本发明涉及网络安全领域，特别是涉及一种海量流量下报文识别的方法和装置。包括：调用dpdk，分配CPU的常规业务处理核和特殊业务处理核；加载监控策略规则文件和业务特征文件，转换为Hyperscan模式的规则数据库和业务特征数据库；调用dpdk完成数据接入，业务特征数据库和数据五元组hash值的key区分常规业务和特殊业务，将每个数据五元组放入相应CPU内核的数据队列；对数据五元组进行解码，生成每个数据五元组对应的数据报文；根据Hyperscan的规则数据库和业务数据库，使用相应的CPU内核分别对相应队列中的数据报文进行扫描匹配，获取恶意报文，并对恶意报文进行处理。减小了在Hyperscan应用识别中带来的性能消耗，提高了dpdk技术与Hyperscan技术融合的高效性。

【技术领域】

本发明涉及网络安全领域，特别是涉及一种海量流量下报文识别的方法和装置。

【背景技术】

随着互联网业务快速发展，互联网出入口带宽不断增加，网络流量快速增长，网络攻击行为数量不断增长、复杂性也不断提升。为了保证互联网系统能够给使用者创造一个安全、稳定的使用环境，必须严密关注网络系统服务平台的运行状态，识别海量流量的数据报文中的恶意报文，并对恶意报文进行相应阻断和上报等处理。

但是，在目前的网络环境中国际出入口流量与日俱增，系统无法实现全流量接入，多数省际出入口因运营商不断调整网络拓扑及扩容，接入线路非常少，部分接入线路流量占比很低，导致监测点及监测流量接入不足，无法实现有效监测。同时，近年网络攻击行为在数量上有了较大增长，攻击特征有了较大变化，其监测复杂性也不断提升，现有的恶意网络行为监测引擎需要升级以满足监测需求。为了对海量数据进行监测，数据面开发套件dpdk解决了大量数据的采集及转发瓶颈，但目前与之匹配的数据特征匹配算法对资源的耗费极大，如AC算法，AC自动机有一个很大的问题是消耗的内存特别大，当我们要做的中文字符串的查找时，如何选择最小的字符单位，会直接影响查询速度和占用内存。

鉴于此，如何克服该现有技术所存在的缺陷，解决现有监测方法无法全面高效的监测恶意报文的现象，是本技术领域待解决的问题。

【发明内容】

针对现有技术的以上缺陷或改进需求，本发明解决了目前网络监测系统中由于网络流量巨大但接入口和接入流量较少，但现有监测方式效率较低，导致的无法对恶意报文进行全面监测的问题。

本发明实施例采用如下技术方案：

第一方面，调用dpdk，分配CPU的常规业务处理核和特殊业务处理核；加载监控策略规则文件和业务特征文件，将监控策略规则文件和业务特征文件转换为Hyperscan模式的规则数据库和业务特征数据库；调用dpdk完成数据接入，根据Hyperscan的业务特征数据库和数据五元组hash值的key区分常规业务和特殊业务，将每个数据五元组放入相应CPU内核的数据队列；从每个CPU内核的数据队列中逐个取出数据五元组进行解码，生成每个数据五元组对应的数据报文；根据Hyperscan的规则数据库和业务数据库，使用相应的CPU内核分别对相应队列中的数据报文进行扫描匹配，获取恶意报文，并对恶意报文进行处理。

优选的，根据hash值的key将每个接入的数据五元组放入相应CPU内核的数据队列，具体包括根据业务特征数据库生成hash表，hash表的key为特殊业务对应的hash值的key；判断每个数据五元组hash值的key是否存在于hash表中；若存在于hash表中，将数据五元组放入hash表中相应的位置，并放入特殊业务处理核的数据队列；若不存在于hash表中，将数据五元组放入常规业务处理核的处理队列。

优选的，使用相应的CPU内核分别对相应队列中的数据报文进行扫描匹配，还包括：判断常规业务核上的每个业务报文的应用ID是否为特殊业务ID；若是特殊业务ID，将数据报文的五元组信息、应用ID和预设特殊业务标识符重新组包，将组包后的数据放入特殊业务处理核的数据队列，由特殊业务处理核进行扫描匹配；若不是特殊业务ID，由常规业务处理核进行扫描匹配。