[发明专利]一种数据质量检测的方法和系统

说明书

本发明提出了一种数据质量检测的方法和系统，所述方法包括如下步骤：步骤一、搜集数据并建立数据库；步骤二、检测所述数据库中的数据的覆盖性，获得数据的覆盖性指数；步骤三、检测所述数据库中的数据的实时性，获得数据的实时性指数；步骤四、检测所述数据库中的数据的准确性，获得数据的准确性指数；步骤五、对上述覆盖性指数、实时性指数、准确性指数做加权平均，评估数据质量。通过本发明可以有效进行数据质量检测，能够同时根据数据的覆盖性、实时性、准确性三个方面检测数据质量，有力的提高了数据质量检测的速度和效果，为各个行业数据质量检测提供了工具和依据。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据质量检测的方法和系统。

背景技术

数据质量指的是“数据对其在操作、决策支持和规划中扮演角色的适应程度”。数据质量包括三个维度：覆盖性、实时性、准确性。基于数据质量的三个维度要素，可以对数据进行审核，其中数据的实时性主要跟数据的同步和处理过程的效率相关，更多的是通过监控ETL任务的方式来保证数据的及时性，所以这里的数据审核主要指的是评估数据的覆盖性、实时性和准确性，包括采用：数据质量评估技术、数据自动修复技术、实体识别技术。

目前已有一些国内外公司或个人针对数据质量检测申请了一些专利，例如中国专利公开号CN104820720A，公开了一种数据质量检测方法和装置，先单独从源库中抽取数据；然后再根据预设的质量规则，对所述抽取得到的数据进行质量检测；最后再将通过所述质量检测的数据，进行整合处理。采用本发明，可以提高数据抽取效率和数据质量，并且易于质量检测规则的扩展。

虽然目前的数据质量检测分别涉及了数据的覆盖性、实时性、准确性，然而，现有技术中仍然没有同时根据数据的覆盖性、实时性、准确性三个方面同时检测数据质量的方法或系统。

发明内容

为解决以上问题，本发明的目的是通过以下技术方案实现的。

本发明提出了一种数据质量检测的方法，其包括如下步骤：

步骤一、搜集数据并建立数据库；

步骤二、检测所述数据库中的数据的覆盖性，获得数据的覆盖性指数；

步骤三、检测所述数据库中的数据的实时性，获得数据的实时性指数；

步骤四、检测所述数据库中的数据的准确性，获得数据的准确性指数；

步骤五、对上述覆盖性指数、实时性指数、准确性指数做加权平均，评估数据质量。

优选的，搜索数据时采用主题网络爬虫算法。

优选的，所述数据的覆盖性检测采用基于匹配树的松散覆盖算法，包括以下步骤：

(1)构造PADRES匹配树；将数据插入匹配树之前，首先将数据中的谓词构成谓词节点；然后将谓词节点按属性名称的字母顺序插入虚拟节点之后、叶子节点之前；如果过个谓词节点具有相同的前驱，则共享前驱；具有相同前驱的多个谓词节点具有相同的属性名称，则共享属性名称；插入所有的谓词节点后，插入叶子节点来代表数据的终止；

(2)扩展匹配树以支持覆盖性检测；为了记录数据间的覆盖关系，在叶子节点中增加两个指针链表；其中，第一个指针链表记录覆盖自己的数据，第二个指针链表记录自己所覆盖的数据；

(3)对数据进行松散覆盖检测，首先找出一个覆盖自己的节点，然后找出所有的被自己覆盖的节点，如此循环，根据上述两种节点的占比情况获得覆盖性指数。

优选的，所述数据的实时性检测采用数据流滑动窗口平均值算法，包括以下步骤：

(1)对数据流进行单次扫描，对输入数据流滑动窗口中的数据取算术平均值，得到一条第一更新数据流；