[发明专利]一种基于流式处理的数据脱敏系统及其脱敏方法

说明书

本发明涉及网络信息通信安全领域，具体涉及一种基于流式处理的数据脱敏系统及其脱敏方法。本发明通过以下技术方案得以实现的：一种基于流式处理的数据脱敏系统，包含用于获取数据的获取模块、对数据进行脱敏处理的脱敏模块和将脱敏后的数据发出的发送模块，还包含有：缓存模块；判断模块，所述判断模块用于判断目前收到的一个或一个以上的数据包是否包含完整的记录行，并将收集到的一个或一个以上的数据包存储在所述缓存模块中。本发明的目的是提供一种基于流式处理的数据脱敏系统及其脱敏方法，与现有技术不同，采用流式的方式对服务器发送来的数据进行脱敏处理，避免需要大容量的存储空间进行数据缓存，数据脱敏速度快，改善时延问题。

技术领域

本发明涉及网络信息通信安全领域，具体涉及一种基于流式处理的数据脱敏系统及其脱敏方法。

背景技术

随着时代的进步,互联网通信及其应用催生并承载着大数据时代。相比传统数据，大数据具有应用数据流通量大、速度高、类型多的特点，使得互联网成为一个开放的复杂系统，不仅给人们的通信带来方便，也相应的承载着复杂和未知的问题，这其中就包括网络安全的威胁和风险。

在大数据的处理领域，数据的存储和流通环节的数据安全问题成为了人们关注的焦点之一，在这种背景下，人们开始使用数据脱敏技术。数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则下，对真实数据进行改造并提供测试使用，如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。

在现有技术中，数据脱敏的实现方法为：首先，缓存需要脱敏的数据包，如果当前数据包为完整的协议包，则根据设置的规则对数据进行转换；随后，完成一个脱敏过程，如果数据包不是完整的协议包，就继续缓存数据，直至缓存的数据能够组成完整的协议包，再根据设置的规则对缓存的数据进行转换。然而，这样的技术方案存在着一定的缺陷。

缺陷一：脱敏过程中需要的缓存大小不可预期。由于脱敏之前可能需要缓存数据，缓存数据的多少和具体的数据库查询方式有关，事前无法预期。当多个脱敏工作进行中时，系统现有的存储空间可能会无法满足需要而导致系统无法继续正常工作。

缺陷二：实时响应差。需要先缓存所有数据,缓存结束之后进行数据脱敏后才能返回结果,而这一对所有数据进行缓存和对大量数据进行脱敏的方式需要耗费大量时间,因此会导致返回的脱敏数据存在时延问题。

发明内容

本发明的目的是提供一种基于流式处理的数据脱敏系统及其脱敏方法，与现有技术不同，采用流式的方式对服务器发送来的数据进行脱敏处理，避免需要大容量的存储空间进行数据缓存，数据脱敏速度快，改善时延问题。

本发明的上述技术目的是通过以下技术方案得以实现的：一种基于流式处理的数据脱敏系统，包含用于获取数据的获取模块、对数据进行脱敏处理的脱敏模块和将脱敏后的数据发出的发送模块，还包含有：

缓存模块；

判断模块，所述判断模块用于判断目前收到的一个或一个以上的数据包是否包含完整的记录行，并将收集到的一个或一个以上的数据包存储在所述缓存模块中。

作为本发明的优选，所述脱敏模块包含提取模块、映射模块和替换模块，所述提取模块用于查找和提取数据中的敏感数据和与所述敏感数据对应的目标脱敏规则，所述映射模块用于在映射关系中查找与所述目标脱敏规则所对应的目标数据字典，所述替换模块用于将所述目标数据字典对相对应的所述敏感数据进行替换处理。

作为本发明的优选，当所述判断模块判断一个完整的记录行存在于一个数据包中，所述脱敏模块直接对该数据包进行脱敏处理。

作为本发明的优选，当所述判断模块判断一个完整的记录行存在于两个或两个以上的数据包中，先由合并模块将这两个或两个以上的数据包进行拼接，随后所述脱敏模块再对合并后的记录行数据进行脱敏。