[发明专利]一种数据库脱敏方法、装置及脱敏设备

说明书

本发明实施例涉及数据处理技术领域，例如涉及一种数据库脱敏方法、装置、脱敏设备及存储介质。方法包括：提取数据，提取数据基于分布式系统执行；对数据进行分析，获得分析结果，对数据进行分析基于分布式系统执行；根据分析结果对数据进行脱敏，获得脱敏后的数据；由此能够实现对大数据快速脱敏。

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种数据库脱敏方法、装置、脱敏设备及存储介质。

背景技术

随着大数据时代的发展，数据成为国家基础性战略资源，大数据所蕴含的巨大商业价值也愈发受到各方关注，然而大数据往往包含用户大量的敏感信息，而未经处理直接发布或共享原始数据,将不可避免地泄露用户隐私信息。

现如今很多数据库和数据库安全厂商推出了相应的数据脱敏产品，传统的数据脱敏产品基于单计算节点下运行，计算速度慢，难以应对当前海量数据的计算需求。

发明内容

本发明的主要目的在于提供一种数据库脱敏方法、装置、脱敏设备及存储介质，能够实现对大数据快速脱敏。

第一方面，本发明实施例提供了一种数据库脱敏方法，所述方法包括：

提取数据，所述提取数据基于分布式系统执行；

对所述数据进行分析，获得分析结果，所述对所述数据进行分析基于分布式系统执行；

根据所述分析结果对所述数据进行脱敏，获得脱敏后的数据。

在一些实施例中，所述提取数据，包括：

使用数据库连接工具获取数据并存储至分布式文件系统中，再从所述分布式文件系统提取数据；及

使用订阅消息系统提取数据和/或接收采集任务的数据流。

在一些实施例中，所述方法还包括：

获取样本数据，并基于所述样本数据提取样本特征向量；

将所述样本特征向量及对应的标签输入决策树模型和/或神经网络模型进行学习，获得分类模型。

在一些实施例中，所述将所述样本特征向量及对应的标签输入决策树模型和/或神经网络模型进行学习，获得分类模型，包括：

将所述样本特征向量及对应的标签输入决策树模型进行分裂计算，获得分类模型；和/或，

将所述样本特征向量及对应的标签输入神经网络模型进行迭代训练，获得分类模型。

在一些实施例中，所述对所述数据进行分析，获得分析结果，包括:

获取数据；

利用所述数据仓库工具和Spark SQL模块对数据进行处理并提取特征向量；

将所述特征向量输入所述分类模型，获得数据类标签。

在一些实施例中，所述对所述数据进行分析，获得分析结果，包括：

获取数据；

把数据流以时间为单元切分成数据块，对每个数据块均进行脱敏处理，获得脱敏后的数据；

将所述脱敏后的数据提供给外部应用系统使用。

第二方面，本方面实施例还提供了一种数据脱敏装置，所述装置包括：

提取模块，用于提取数据，所述提取数据基于分布式系统执行；

分析模块，用于对所述数据进行分析，获得分析结果，所述对所述数据进行分析基于分布式系统执行；

脱敏模块，用于根据所述分析对所述数据进行脱敏，获得脱敏后的数据。