[发明专利]一种数据子集提取方法

说明书

本发明实施例公开了一种数据子集提取方法，所述方法包括：根据输入的过滤条件，从满足过滤条件的数据表处提取数据至数据子集；采用递归算法通过逆向分解顺次提取上游数据表中具有引用关系的上游数据至数据子集；采用递归算法通过关联调度顺次提取下游数据表中具有被引用关系的下游数据至数据子集。本发明实施例提供的数据子集提取方法能够快速、高效地提取测试和分析所需的数据子集；能够提升数据子集的获取效率，降低对数据库的影响；利于提升查询效率，降低人员和硬件成本，有效地提升数据脱敏工具的可用性。

技术领域

本发明实施例涉及数据安全技术领域，具体涉及一种数据子集提取方法。

背景技术

数据脱敏(Data Masking)是数据安全的一个子领域，提取数据子集是数据脱敏的一个子功能，它的目的是从数据全集中获取相关的部分数据，即数据子集。例如，从客户关系管理系统中获取客户性别为男性、年龄大于的30岁的客户信息及其与这些客户相关的交易、活动数据等。

在现有的数据脱敏产品中，主要采用SQL的过滤语句和关联方法提取客户信息的数据子集，这种方法当数据全集模型系统比较复杂，数据量比较大时，性能非常慢。

例如：客户关系管理系统包括部门表、客户表、客户明细表以及若干级子表，他们的关联关系和表里的数据量如图1所示。采用SQL的过滤语句和关联方法提取客户信息的数据子集缺陷主要表现为：

1)在获取部门表中客户的关联信息时，数据库中执行的关联200*2亿；

2)在获取客户明细表中该客户的关联信息时，数据库中执行的关联是2亿*10亿。假设还有客户表明细子表的话，数据库中执行的关联将是2亿*10亿*X亿(假设客户明细子表代表的数据为X亿)。

3)假如关联深度继续加深，关联的次数将为：2亿*10亿*X亿*Y亿

由于传统获取数据子集的方式存在着上述多次数据表关联，存在即使数据库资源被耗尽，最终也可能无法获取需要的数据子集的问题。

在大数据时代，数据全集模型越来越复杂，数据量越来越大，客户对数据安全诉求越来越强，对获取数据子集的需求越来越强。

发明内容

为此，本发明实施例提供一种数据子集提取方法，以解决现有技术中由于获取数据子集的方式存在着由于多次数据表关联而导致的无法获取需要的数据的问题。

为了实现上述目的，本发明实施例提供如下技术方案：

根据本发明实施例的一种数据子集提取方法，所述方法包括：

根据输入的过滤条件，从满足过滤条件的数据表处提取数据至数据子集；

采用递归算法通过逆向分解顺次提取上游数据表中具有引用关系的上游数据至数据子集；

采用递归算法通过关联调度顺次提取下游数据表中具有被引用关系的下游数据至数据子集。

进一步地，所述采用递归算法通过逆向分解顺次提取具有引用关系的上游数据至数据子集，具体包括，

采用递归算法通过逆向分解顺次执行：

S201将所述上游数据表作为当前数据表，判断所述当前数据表是否引用上游数据表：

如果当前数据表引用上游数据表，则获取当前数据表与上游数据表的上游关联条件，根据所述上游关联条件生成当前数据表的上游索引，获取当前数据表的上游数据表，根据当前数据表的上游索引查询上游数据表，获得上游数据，提取上游数据至数据子集，执行S201；

如果当前数据表没有引用上游数据表，则递归算法结束。

进一步地，所述采用递归算法通过关联调度顺次提取具有被引用关系的下游数据至数据子集，具体包括，