[发明专利]数据预处理方法、装置及计算机存储介质

权利要求书

1.一种数据预处理方法，其特征在于，在ETL过程执行，所述ETL过程包括数据抽取阶段、数据清洗阶段、数据转换阶段、数据装载阶段，包括：

在所述数据抽取阶段从数据源抽取数据并对抽取到的数据进行脱敏处理；

在所述清洗阶段对所述脱敏后的数据进行清洗处理；

在所述数据转换阶段对所述清洗处理后的数据进行聚合处理；

在所述数据装载阶段，将所述聚合处理后的数据存储到数据仓库中以在后端应用中进行使用；

其中，所述在所述数据抽取阶段从数据源抽取数据并对抽取到的数据进行脱敏处理，包括：在所述数据抽取阶段从数据源抽取数据并对抽取到的数据依次执行敏感数据发现、敏感数据梳理、脱敏方案制定、脱敏任务执行以对抽取到的数据进行脱敏处理；

其中，所述对抽取到的数据执行脱敏方案制定时，根据数据脱敏需求以及基准脱敏算法，配置脱敏策略；对抽取到的数据执行脱敏任务执行时，根据配置的脱敏策略对抽取到的数据进行脱敏处理；

在对所述抽取到的数据进行脱敏处理时，对于任意一行记录的敏感数据，其所属的相等集内记录的敏感数据数量不小于k，k大于等于1，即至少有k-1条记录半标识敏感数据列属性值与该条记录相同，则先移除标识列，使得对移除标识列的敏感数据根据半标识列进行分组，每组最少有 k 条记录，每组中至少有 k-1 条记录的半标识列的值与该记录相同，再泛化半标识列，从而防止个人标识泄漏的风险；

其中，在进行脱敏处理时，限定半标识列属性与敏感数据的全局分布之间的联系，从而减弱了半标识列属性与特定敏感数据的联系，减少攻击者通过敏感数据的分布信息进行属性泄露攻击的可能性；

所述在所述数据抽取阶段从数据源抽取数据并对抽取到的数据进行脱敏处理时，搭建数据脱敏环境，在所述数据抽取阶段在所述数据脱敏环境中从数据源抽取数据并对抽取到的数据进行脱敏处理，所述数据脱敏环境包括静态数据脱敏环境、动态数据脱敏环境，所述静态数据脱敏环境允许在未使用所述抽取到的数据时进行脱敏处理，所述动态数据脱敏环境允许在使用所述抽取到的数据时进行脱敏处理；

其中，所述静态数据脱敏环境用在非生产环境，在敏感数据从生产环境脱敏完毕之后再在非生产环境使用，用于解决测试、开发库需要生产库的数据量与数据间的关联，以排查问题或进行数据分析，但又不能将敏感数据存储于非生产环境的问题；所述动态数据脱敏环境用在生产环境，在访问敏感数据当时进行脱敏，以解决在生产环境需要根据不同情况对同一敏感数据读取时需要进行不同级别脱敏的问题；

在所述静态数据脱敏环境中进行脱敏处理，适用于脱敏处理后的数据要外发给第三方公司进行开发测试或是数据分析，得到的分析结果后能够将分析出的数据进行回溯，从而保证了数据提供方发送出去的数据不包含敏感数据，确保开发、测试环节不会泄漏敏感数据；当项目开发单位开发完成后，将分析系统或结果数据回溯成真实的结果数据，实现了开发过程中的数据共享和结果一致性，又保证了真实数据不会在开发过程中泄漏；

在所述动态数据脱敏环境中进行脱敏处理，保证在通讯层面上，通过代理部署方式，对业务系统数据库中的敏感数据进行透明的、实时的脱敏；依据用户的角色、职责和其他IT定义身份特征，动态的对生产数据库返回的数据进行专门的屏蔽、加密、隐藏和审计，确保不同级别的用户按照其身份特征访问敏感数据，并且不需要对生产数据库中的数据进行任何改变。

2.根据权利要求1所述的数据预处理方法，其特征在于，对抽取到的数据执行敏感数据发现时，根据敏感数据特征以及分词模型，识别所述抽取到的数据中的敏感数据。

3.根据权利要求1所述的数据预处理方法，其特征在于，对抽取到的数据执行敏感数据梳理时，对所述敏感数据进行关系的关联。

4.根据权利要求1所述的数据预处理方法，其特征在于，所述根据配置的脱敏策略对抽取到的数据进行脱敏处理，包括：根据所述敏感数据的类型，调取对应的脱敏策略对抽取到的数据进行脱敏处理，其中，为不同类型的所述敏感数据配置了不同的脱敏策略。

5.根据权利要求1-4任一项所述的数据预处理方法，其特征在于，所述脱敏策略包括：屏蔽、变形、替换、随机、格式保留加密和强加密中至少一种。