[发明专利]动态数据脱敏方法及系统、数据安全处理方法及系统

说明书

本发明揭示了一种动态数据脱敏方法及系统、数据安全处理方法及系统，所述数据安全处理方法包括：接收用户提交的请求语句；获取对应用户的权限；判断用户是否具有对应权限；若对应用户具有设定表中设定字段敏感字段的访问权限，则提交到计算层执行对应请求；若对应用户没有对应敏感字段的权限，则引擎根据已有的脱敏配置库和脱敏规则库来决定对应敏感字段的脱敏方式，对请求语句进行改写后再提交到计算层执行。本发明提出的动态数据脱敏方法及系统、数据安全处理方法及系统，可降低开发成本、维护成本及硬件资源的成本；同时可降低系统性能损耗。

技术领域

本发明属于大数据处理技术领域，涉及一种脱敏方法，尤其涉及一种动态数据脱敏方法及系统、数据安全处理方法及系统。

背景技术

大数据时代，数据安全建设受到越来越多企业的关注，但通常，数据安全性与大数据分析性能成反比，与架构部署难度及存储成本成正比。高昂的成本和复杂的架构成为了小型企业在实现大数据脱敏道路上的绊脚石，因此需要一种低成本、高效率、易扩展、易运维的大数据脱敏方案。

Apache Spark是开源大数据计算引擎，支持基于海量数据的分析、模型训练、图计算等功能，是大数据计算领域的主流计算引擎，被广泛应用于各大公司的离线数据、准实时数据分析处理场景。

数据脱敏(Data Masking)，又称数据漂白、数据去隐私化或数据变形。对敏感信息通过脱敏规则进行数据的变形、模糊化、伪装，从而实现敏感隐私数据的可靠保护。数据脱敏分为静态脱敏和动态脱敏两种类型，本申请主要针对动态脱敏。

现有的数据脱敏方式主要包括如下三种：

(1)一般而言，很多规模较大的公司在数仓数据安全方面采用敏感库-脱敏库形式，数据冗余两份存储，采用遮盖、加密或Hash等方式对数据进行脱敏操作。同时每日新增数据需要在脱敏库维护一份脱敏数据，通过跑批方式导入。该方案很多小型企业出于成本方面的考虑，受限于计算资源和存储成本，无法采用一般的脱敏形式。

(2)基于Apache Ranger的列屏蔽和行过滤功能做数据脱敏。该方案也采用动态脱敏，以插件形式接入各个组件，对各个组件的版本有强依赖，部署难度相对较大；该方案目前不支持对Spark引擎数据进行脱敏。

(3)对数仓中全量敏感数据进行对称加密，各部门使用不同的密钥进行解密。加密时需要先分析出敏感数据所涉及的表及字段，制定解密规则后对逐步加密数仓中的数据。解密方法是开发专用的解密客户端以支持数据解密。该方案调整牵扯到整个公司的业务及人员调度，调整代价较大，并且还需要花费大量人力成本去开发和调整业务逻辑，而在计算效率也会因加密算法而降低。

由此可见，现有数据脱贫技术存在如下缺点：

(1)目前没有支持Spark计算引擎的动态脱敏技术方案案例；

(2)常规脱敏方案需要冗余一份数据，占用量存储资源，随数据量增长，存储成本将会爆炸式增长，同时由于计算量的增多，需要提供的计算资源也成倍增长，计算硬件成本增长不可估量；

(3)即使不做冗余脱敏数据存储，加密算法开发仍然需要在服务端和客户端进行，不仅占用更多计算资源导致运算效率下降，而且耗费大量人力成本进行开发和调整；

(4)开源的Ranger脱敏框架目前不支持Spark引擎，且对相关组件版本有强依赖关系，版本过低或过高都无法兼容，落地部署需要做大量适配工作，门槛较高。

有鉴于此，如今迫切需要设计一种新的数据脱敏方式，以便克服现有数据脱敏方式存在的上述至少部分缺陷。

发明内容

本发明提供一种动态数据脱敏方法及系统、数据安全处理方法及系统，可降低开发成本、维护成本及硬件资源的成本；同时可降低系统性能损耗。

为解决上述技术问题，根据本发明的一个方面，采用如下技术方案：