[发明专利]一种基于海量数据的快速预警匹配实现方法

说明书

本发明公开了一种基于海量数据的快速预警匹配实现方法，涉及信息安全技术领域，包括以下步骤：预先通过网络层抓取原始包含操作数据的网络报文，作为最原始的输入，其抓取的网络报文包括操作员操作请求和业务系统响应返回内容；对获取的网络报文进行数据分类并建立分布式存储，其包括对获取的网络报文进行解析并对操作内容进行加注标识；获取对加注标识的分布式数据集群进行识别，其包括识别数据内包含的敏感内容和识别统计操作的相关属性；获取标记的敏感数据内容作为输出进行预警。本发明解决了传统审计分析技术架构采用关系数据库在处理海量日志数据时的低效率问题，而且数据清洗的方式更便捷，更高效。

技术领域

本发明涉及信息安全技术领域，具体来说，涉及一种基于海量数据的快速预警匹配实现方法。

背景技术

业务支撑系统中承载的大量客户资料、消费记录、订购信息等关键敏感信息，近年来业务受理量和数据规模都在急速增加，随着安全形势的发展，客户信息安全面临的威胁越来越多，合法用户在业务系统上通过恶意操作批量获取信息进行贩卖、甚至通过批量操作非法获利的安全事件频发，目标针对敏感信息防泄露的主要技术包括：业务支撑系统日志记录，把用户登录系统后相关的操作都记录下来，可以用作事后审计以帮助追查责任；业务支撑系统授权控制，从网络边界、外设边界以及桌面应用三方面做以全方位控制，达到信息安全目标中的“可控性”的要求，防止对信息的不当使用和流传；敏感信息加密，在数据传输过程和对敏感数据的存储进行加密，就算第三方通过非法手段获取到数据，也没有办法进行查看。

而目前业务支撑系统中其开发厂商人员是被重点审计的对象，业务系统记录日志，相当于自己审计自己，存在“监守自盗”的隐患，与安全管理思想相悖；在历年安全事故中，出现问题的大多数都是业务厂商人员；另外存在业务系统软件自身不是对所有的查客户资料都能记录日志，因此日志不完整，但这些漏洞业务系统自身却无法发现，因此必须通过第三方审计软件监管，才能发现问题所在；而审计必须实现敏感内容级的关联审计，因此如果通过改造业务系统实现此功能，则每天新增数据量巨大，严重影响业务系统自身性能，存在影响业务的巨大隐患；安全审计是动态演进过程，随着安全审计需求的变化，如果在业务系统改造实现日志功能，相当于频繁上线安全功能，相当于在业务系统上引入了频繁割接上线新功能的风险，给业务带来隐患。

因此，亟需一种基于海量数据的快速预警匹配实现方法。

发明内容

针对相关技术中的问题，本发明提出一种基于海量数据的快速预警匹配实现方法，以克服现有相关技术所存在的上述技术问题。

本发明的技术方案是这样实现的：

一种基于海量数据的快速预警匹配实现方法，包括以下步骤：

步骤S1，预先通过网络层抓取原始包含操作数据的网络报文，作为最原始的输入，其抓取的网络报文包括操作员操作请求和业务系统响应返回内容；

步骤S2，对获取的网络报文进行数据分类并建立分布式存储，其包括对获取的网络报文进行解析并对操作内容进行加注标识；

步骤S3，获取对加注标识的分布式数据集群进行识别，其包括识别数据内包含的敏感内容和识别统计操作的相关属性；

步骤S4，获取标记的敏感数据内容作为输出进行预警。

进一步的，所述抓取原始包含操作数据的网络报文，包括以下步骤：

通过旁路镜像的方式，将业务系统流量数据引入到采集设备终端；

通过Pcap4J对网卡上的数据流量进行抓包。

进一步的，包括以下步骤：

通过抓取到的流量经过Pcap4J整合过后，获取当前访问的数据信息，其包括客户端IP、客户端端口、客户端MAC、服务端IP、服务端端口、服务MAC、TCP信息、会话序列号、会话应答码、会话长度和会话信息；