[发明专利]敏感数据扫描方法和系统

说明书

本发明实施例公开了一种敏感数据扫描方法和系统。该敏感数据扫描方法包括：数据采样模块读取目标数据库中的数据样本，并将所述数据样本发送到消息中间件；所述消息中间件将所述数据样本进行存储；扫描节点集群中的每个扫描节点从所述消息中间件中读取所述数据样本，并对所述数据样本进行扫描，得到敏感数据。本发明实施例提高了敏感数据扫描的效率，对评估数据迁移过程的安全性，防止客户敏感信息泄露有重要意义。

技术领域

本发明实施例涉及数据库技术领域，尤其涉及一种敏感数据扫描方法和系统。

背景技术

数据库是按照数据结构来组织、存储和管理数据的仓库。在数据库中，有些数据属于敏感数据，例如，身份证号、姓名、企业客户名称、地址、电话等。这些敏感数据需要扫描出来进行数据迁移，达到防止敏感数据泄露的目的。

目前，普遍采用集中式架构，如浏览器/服务器模式，将扫描任务实现的核心部分集中到一台服务器上。由于数据库的数量多，存储数据量巨大，集中式架构已不能满足扫描任务的高效要求。

发明内容

本发明实施例提供了一种敏感数据扫描方法和系统，以高效地从数据库中识别敏感数据，从而保证评估数据迁移过程的安全性，达到防止敏感信息泄露的技术效果。

第一方面，本发明实施例提供了一种敏感数据扫描方法，包括：

数据采样模块读取目标数据库中的数据样本，并将所述数据样本发送到消息中间件；

所述消息中间件将所述数据样本进行存储；

扫描节点集群中的每个扫描节点从所述消息中间件中读取所述数据样本，并对所述数据样本进行扫描，得到敏感数据。

可选的，所述数据采样模块读取目标数据库中的数据样本，包括：

数据采样模块读取目标数据库的元数据；

所述数据采集模块根据所述元数据确定读取范围，并读取所述读取范围内的数据样本。

可选的，在所述数据采集模块读取所述读取范围内的数据样本之后，还包括：

所述数据采集模块对所述读取范围内的数据样本进行设定处理，得到所述数据样本；

其中，所述设定处理包括设定类型字段的过滤处理、空数据样本过滤处理和去重处理中的至少一项。

可选的，所述扫描节点集群中的每个扫描节点对所述数据样本进行扫描，得到敏感数据，包括：

扫描节点集群中的每个扫描节点确定所述数据样本的长度；

如果所述数据样本的长度超过设定长度阈值，所述每个扫描节点采用文本分类器对所述数据样本进行敏感数据分类。

可选的，在所述确扫描节点集群中的每个扫描节点定所述数据样本的长度之后，还包括：

如果所述数据样本的长度未超过设定长度阈值，所述每个扫描节点采用至少一个正则表达式分别对所述数据样本进行敏感数据筛选；

其中，所述至少一个正则表达式分别为不同种类敏感数据的筛选逻辑公式。

可选的，在所述数据采样模块读取目标数据库中的数据样本之前，还包括：

功能接口层获取目标数据库的信息，并将所述目标数据库的信息存储至配置数据库中；

所述数据采样模块读取目标数据库中的数据样本，包括：

数据采样模块从所述配置数据库中读取所述目标数据库的信息，并根据所述目标数据库的信息链接所述目标数据库；

数据采样模块从链接到的所述目标数据库读取数据样本。