[发明专利]一种基于中英敏感字典的可控并发数据脱敏方法和装置

说明书

本发明提出了一种基于中英敏感字典的可控并发数据脱敏方法和装置，该方法包括如下步骤：获取元数据库的待脱敏数据，并将待脱敏数据的表结构同步至参数库中的元数据表；配置中英文敏感字典表；关联元数据表和中英文敏感字典表，获取存在敏感字段的元数据表的表名称并存储至文件A；循环遍历文件A中的表名称，创建与文件A对应的同构表，获取同构表的表结构并存储至文件B；获取文件B中字段并与中英文敏感字典表比对，按照敏感词类型进行去敏感化转换，生成脱敏脚本；输入并发参数，多并发执行脱敏脚本完成数据脱敏。本发明通过在保存数据原始特征的同时改变其数值，使数据依旧可以被业务正常使用，同时避免数据泄露的风险。

技术领域

本发明涉及数据脱敏技术领域，具体而言，涉及一种基于中英敏感字典的可控并发数据脱敏方法和装置。

背景技术

随着银行业务的快速发展，在银行生产数据库中，储存着大量业务生产系统产生的敏感信息，例如储户个人身份信息、手机号码、身份证、银行账户信息、资金信息等。而这些数据在银行业很多工作场景中都会得到使用，例如业务分析、开发测试、审计监管等，甚至是一些外包业务等方面，使用的都是真实的业务数据和信息。如果这些数据发生泄露、损坏，不仅会给银行带来经济上的损失，更重要的是会大大影响用户对于银行的信任度。如何保证信息安全的前提下使用这些数据已经成为银行必须面对的一个重要的问题。

目前，为了对开发测试过程中使用的真实数据保护，银行采用手工编造数据的方式向非生产环境提供数据，这种方式产生的数据，往往离散度、真实性和数据关系都无法得到保障，且手工方式会额外消耗人工成本，并且流程难以规范处理。此外，银行会将部分脱敏后的数据下发到开发环境用于测试及开发，但是随着业务发展，更多开发环境的新应用已经完全不适合使用这些老旧数据进行测试，同步更新生产环境中的核心数据迫在眉睫。

发明内容

鉴于上述问题，本发明提供了一种基于中英敏感字典的可控并发数据脱敏方法和装置，通过高效自动化脱敏程序来完成生产关键系统数据的脱敏，在保存数据原始特征的同时改变其数值，使数据依旧可以被业务正常使用，同时避免数据泄露的风险。

为解决上述技术问题，本发明采用的技术方案是：一种基于中英敏感字典的可控并发数据脱敏方法，包括如下步骤：获取元数据库的待脱敏数据，并将所述待脱敏数据的表结构同步至参数库中的元数据表，所述元数据表的字段列包括表名称列、表描述列、字段顺序列、字段名称列、字段类型列和字段描述列；在所述参数库中配置中英文敏感字典表，所述中英文敏感字典表的字段列包括敏感类型列、敏感词列和敏感词类型列；关联所述元数据表和中英文敏感字典表，获取存在敏感字段的所述元数据表的表名称并存储至文件A；循环遍历所述文件A中的表名称，在sandbox库中创建与所述文件A对应的同构表，获取所述同构表的表结构并存储至文件B；获取所述文件B中字段并与中英文敏感字典表比对，按照敏感词类型进行去敏感化转换，生成脱敏脚本；输入并发参数，多并发执行所述脱敏脚本完成数据脱敏。

作为优选方案，还包括：在所述参数库中配置增量参数表，所述增量参数表的字段列包括表名称列、表描述列和脱敏天数列，则在所述生成脱敏脚本之后，还包括：遍历所述文件A中的表名称，与所述增量参数表关联匹配；若未匹配上，则结合所述脱敏脚本生成单分区脱敏脚本；若匹配上，则获取所述增量参数表的脱敏天数，并结合所述脱敏脚本生成多分区脱敏脚本。

作为优选方案，所述中英文敏感字典表的敏感类型列包括中文类和英文类，则获取存在敏感字段的所述元数据表的表名称并存储至文件A，包括：通过结构化查询语言，关联所述元数据表和中英文敏感字典表，敏感类型选择中文类，判断所述元数据表的字段名称列是否包含中英文敏感字典表的敏感词列中的敏感词，若是，则将所述元数据表的表名称导出至文件A，反之，进行下一步；通过结构化查询语言，关联所述元数据表和中英文敏感字典表，敏感类型选择英文类，判断所述元数据表的字段名称列是否在中英文敏感字典表的敏感词列中存在，若是，则将所述元数据表的表名称导出至文件A，反之，不对所述元数据表进行脱敏。