[发明专利]一种减少数据仓库数据冗余的方法和装置

说明书

技术领域

本发明涉及一种减少数据仓库数据冗余的方法，涉及数据仓库系统优化等领域。

背景技术

目前，大型的企业级数据仓库系统，经过几年来的建设后，系统中必然会存在大量的冗余数据。比如基于清单上开发的程序会非常多，生成的目标汇总表也会非常多，这些目标汇总表中有些会存在一定的相似性，随着具有相似性的表逐渐累计，这就造成了大量的冗余数据，这些冗余数据，一方面影响统计分析数据的精确性和可靠性，同时也影响着数据库的性能，耗占宝贵的存储资源。

要解决这个问题有两个环节：发现冗余数据、对冗余进行消除合并。目前主要采取的技术方案基本是：通过有经验的技术人员进行人工分析和处理。

现有发现和消除冗余数据的技术方案有以下的缺点：

1、人工处理对人员的经验和知识要求非常高，提高了问题解决的门槛。

2、发现的冗余数据会因为人的不同而有所不同，准确性难以保障。

3、难以发现全面的数据冗余问题。

4、难以给出最优的冗余消除解决方案。

发明内容

本发明所要解决的技术问题是提供一种减少数据仓库数据冗余的方法，该方法能够通过采集和分析数据表之间的关联关系，确定表与表之间的冗余程度，并据此进行数据冗余减少处理，以此达到发现和消除冗余的目的。

本发明解决上述技术问题所采取的技术方案如下：

一种减少数据仓库数据冗余的方法，包括：

(1)确定待分析的起始表，根据数据仓库的元数据获得所述起始表的多个后续输出表信息；(2)根据各个后续输出表与起始表的关系确定各个后驱输出表的粒度层级信息；

(3)计算处于同一粒度层级的两个或者多个后驱输出表之间的相似性，并对相似性较大的两个或者多个后驱输出表进行数据冗余减少处理。

一种减少数据仓库数据冗余的装置，包括：

输出表计算单元，用于确定待分析的起始表，根据数据仓库的元数据获得所述起始表的多个后续输出表信息；

粒度层级计算单元，用于根据各个后续输出表与起始表的关系确定各个后驱输出表的粒度层级信息；

相似度计算单元，用于计算处于同一粒度层级的两个或者多个后驱输出表之间的相似性；

数据冗余处理单元，用于获取所述处于同一粒度层级的两个或者多个后驱输出表之间的相似性信息，并对相似性较大的两个或者多个后驱输出表进行数据冗余处理。

本发明采取了上述方案以后，能够根据数据仓库元数据信息来发现数据的流向，找到输入表的生成的输出表，并据此根据输出表计算表的相似性，如果这些表的相似程度高，说明存在冗余数据，可以进行合并，以此达到自动地采集和分析数据表之间的关联关系，确定表与表之间的冗余程度，从而达到自动发现和消除冗余的目的。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

下面结合附图对本发明进行详细的描述，以使得本发明的上述优点更加明确。其中，

图1是本发明实施例减少数据仓库数据冗余的方法的流程示意图；

图2是本发明实施例减少数据仓库数据冗余的方法的流程示意图；

图3是本发明实施例减少数据仓库数据冗余的方法中建立关系链表的流程示意图；

图4是现有技术中数据仓库中表的示意图；

图5是经过本发明实施例减少数据仓库数据冗余的方法后的数据仓库中表的示意图；

图6是本发明实施例减少数据仓库数据冗余的装置的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

具体来说，本发明的原理在于分析数据仓库元数据，以此得到各个数据表(输入表和输出表)之间的关联关系，并最终确定表与表之间的冗余程度，从而达到自动发现和消除冗余的目的。