[发明专利]一种数据脱敏方法、装置和系统

说明书

本发明公开了一种数据脱敏方法、装置和系统。所述方法包括：根据获取的源数据表结构信息和配置的数据脱敏策略，确定需脱敏处理的字段对应的源数据报文中的源码字段和脱敏处理方式，生成包括需脱敏的源码字段和对应的脱敏处理方式的快速脱敏列表；从源数据库中获取源数据，根据源数据的数据库协议格式、所述快速脱敏列表中包括的需脱敏的源码字段和对应的脱敏处理方式，对源数据中需脱敏处理的源码字段按所述对应的脱敏处理方式进行脱敏处理。对于大批量数据的脱敏处理，无需进行SQL解析，减少了数据解析的过程，减少了脱敏处理过程中的数据处理量和数据处理时间，大大提高了系统性能。

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据脱敏方法、装置和系统。

背景技术

数据脱敏(Data Masking，DM)是指屏蔽敏感数据，对某些敏感信息(比如：身份标识、手机号、卡号、客户姓名、客户地址、邮箱地址、薪资等等)通过脱敏规则进行数据的变形，实现隐私数据的可靠保护。常见的脱敏规则有替换、重排、加密、截断、掩码，用户也可以根据期望的脱敏算法自定义脱敏规则。

目前常见的数据脱敏场景如图1所示，脱敏服务器、数据库管理员(DatabaseAdministrator，DBA)和WEB服务器的数据都会进入正式数据库，数据脱敏客户端连接正式数据库对数据进行脱敏处理，将脱敏处理后的数据写入脱敏数据库，脱敏数据库中的数据可以提供给开发系统、数据分析平台、产品测试平台等系统使用。数据脱敏的一般流程如图2所示，首先数据脱敏客户端通过select语句读取正式数据库中的数据，然后解析结构化查询语言(Structured Query Language，SQL)返回结果，对解析出的数据匹配脱敏策略以对敏感数据执行脱敏处理，脱敏后的数据重新组装为insert SQL语句，执行SQL语句，将脱敏后的数据写入脱敏数据库中。

发明内容

本申请发明人发现，现有的数据脱敏实现方案，在数据量不大的情况下，比如十万条数据以内，一般几十分钟就能脱敏完成，当数据量到千万或者上几十亿的情况下，脱敏的时间就非常长了，需要以小时为单位进行脱敏；随着数据量的爆发式的增长，数据库中数据量不断增大，数据量达到千万、亿级，甚至几十亿也很常见，很多数据库脱敏系统完成千万数据脱敏时间都在3小时以上，对于亿级甚至几十亿的数据脱敏处理需要的时间更长，长时间的数据脱敏处理严重影响了应用的使用，使系统性能受到极大影响。

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据脱敏方法、装置和系统。

本发明实施例提供一种数据脱敏方法，包括：

根据获取的源数据表结构信息和配置的数据脱敏策略，确定需脱敏处理的字段对应的源数据报文中的源码字段和脱敏处理方式，生成包括需脱敏的源码字段和对应的脱敏处理方式的快速脱敏列表；

从源数据库中获取源数据，根据源数据的数据库协议格式、所述快速脱敏列表中包括的需脱敏的源码字段和对应的脱敏处理方式，对源数据中需脱敏处理的源码字段按所述对应的脱敏处理方式进行脱敏处理。

在一些可选的实施例中，所述从源数据库中获取源数据，包括：

与源数据库建立访问链接，按照预设的获取数量，循环执行数据查询语句从源数据库中获取源数据，判断是否获取完所有的源数据；

若否，返回继续执行从源数据库中获取源数据的步骤；若是，结束获取数据的流程。

在一些可选的实施例中，根据获取的源数据表结构信息和配置的数据脱敏策略，确定需脱敏处理的字段对应的源数据报文中的源码字段和脱敏处理方式，建立包括需脱敏的源码字段和对应的脱敏处理方式的快速脱敏列表，包括：

从源数据库中获取源数据记录，对获取的源数据记录进行解析，以获取源数据表结构信息；或读取源数据酷中关于表结构的说明信息以获取源数据表结构信息；