[发明专利]一种去除敏感数据敏感性的方法及装置

说明书

技术领域

本发明涉及数据处理技术领域，具体涉及一种去除敏感数据敏感性的方法及装置。

背景技术

随着信息化进程的发展，在一些行业的数据库中经常存放着大量具有敏感性的原数据，例如姓名、地址、电话、身份证号、金额等等，这些数据如果泄露会对企业或个人造成恶劣影响。同时，对数据进行测试是测试数据库工作的基础，由于数据库中存储着大量敏感数据，因此在构造测试环境时，需要对这些数据进行“脱敏”处理，以使测试环境中的数据丧失敏感性，避免在数据测试过程中对敏感数据的泄露。

在现有技术中，去除敏感数据敏感性可以采用混淆处理的方式，即将所有敏感数据打乱重新存储在原有位置。具体的，现有技术中通常将数据库中的全部包含敏感数据的记录装载到外部存储器中，如数据量为N，第一次从N个记录随机选出一个记录，与第N个记录的数据交换，然后再从N-1个记录中随机选出一个记录，与第N-1个记录的数据交换，循环执行上述步骤N次，完成敏感数据混淆，处理后再将全部记录装载回数据库中对应位置。但是，现有技术的方法使用了记录数量多一倍的额外外存开销，当记录数量巨大时，额外存储开销大，且访问速度慢，同时数据库与外存间多了两次全量磁盘存取，效率较低。

发明内容

有鉴于此，本发明的主要目的是提供一种去除敏感数据敏感性的方法及装置，以解决现有技术中去除敏感数据敏感性时额外存储开销大且效率较低的问题。

为解决上述问题，本发明提供的技术方案如下：

一种去除敏感数据敏感性的方法，所述方法包括：

从M条数据记录中选取其中N条数据记录，记录所述N条数据记录的数据位置，其中，N、M为大于0的整数，N小于M；

将选取的N条数据记录所包含的敏感数据存储在设置的线性内存缓存中；

将M条数据记录中每一条未被选取的数据记录所包含的敏感数据与所述线性内存缓存中随机一条数据记录所包含的敏感数据进行交换；

用交换后线性内存缓存中的N条数据记录所包含的敏感数据替换记录的数据位置上原有的N条数据记录所包含的敏感数据。

相应的，所述从M条数据记录中选取其中N条数据记录，包括：

随机选取M条数据记录中的N条数据记录。

相应的，所述记录所述N条数据记录的数据位置，包括：

当所述M条数据记录存储在数据库时，将所述N条数据记录中每一条数据记录的主键信息存储在线性标记缓存中；

当所述M条数据记录存储在数据库导出文件时，将所述N条数据记录中每一条数据记录的入口值存储在线性标记缓存中。

相应的，所述将M条数据记录中每一条未被选取的数据记录所包含的敏感数据与所述线性内存缓存中随机一条数据记录所包含的敏感数据进行交换，包括：

当所述M条数据记录存储在数据库时，顺序获取M条数据记录中每一条数据记录的主键信息，判断该主键信息是否存储在所述线性标记缓存中，如果是，则获取M条数据记录中下一条数据记录的主键信息，如果否，则将该主键信息对应的数据记录所包含的敏感数据与所述线性内存缓存中随机一条数据记录所包含的敏感数据进行交换；

当所述M条数据记录存储在数据库导出文件时，顺序获取M条数据记录中每一条数据记录的入口值，判断该入口值是否存储在所述线性标记缓存中，如果是，则获取M条数据记录中下一条数据记录的入口值，如果否，则将该入口值对应的数据记录所包含的敏感数据与所述线性内存缓存中随机一条数据记录所包含的敏感数据进行交换。

相应的，所述从M条数据记录中选取其中N条数据记录，包括：

顺序选取M条数据记录中第1条至第N条数据记录。

一种去除敏感数据敏感性的装置，所述装置包括：

选取单元，用于从M条数据记录中选取其中N条数据记录，其中，N、M为大于0的整数，N小于M；

记录单元，用于记录所述N条数据记录的数据位置；

存储单元，用于将选取的N条数据记录所包含的敏感数据存储在设置的线性内存缓存中；

第一交换单元，用于将M条数据记录中每一条未被选取的数据记录所包含的敏感数据与所述线性内存缓存中随机一条数据记录所包含的敏感数据进行交换；

第二交换单元，用于用交换后线性内存缓存中的N条数据记录所包含的敏感数据替换记录的数据位置上原有的N条数据记录所包含的敏感数据。

相应的，所述选取单元具体用于：

随机选取M条数据记录中的N条数据记录。

相应的，所述记录单元具体用于：