[发明专利]一种数据质量检测的方法和系统

权利要求书

1.一种数据质量检测的方法，其包括如下步骤：

步骤一、搜集数据并建立数据库；

步骤二、检测所述数据库中的数据的覆盖性，获得数据的覆盖性指数；

步骤三、检测所述数据库中的数据的实时性，获得数据的实时性指数；

步骤四、检测所述数据库中的数据的准确性，获得数据的准确性指数；

步骤五、对上述覆盖性指数、实时性指数、准确性指数做加权平均，评估数据质量。

2.如权利要求1所述的数据质量检测的方法，其特征在于：搜索数据时采用主题网络爬虫算法。

3.如权利要求1或2所述的数据质量检测的方法，其特征在于：所述数据的覆盖性检测采用基于匹配树的松散覆盖算法，包括以下步骤：

(1)构造PADRES匹配树；将数据插入匹配树之前，首先将数据中的谓词构成谓词节点；然后将谓词节点按属性名称的字母顺序插入虚拟节点之后、叶子节点之前；如果过个谓词节点具有相同的前驱，则共享前驱；具有相同前驱的多个谓词节点具有相同的属性名称，则共享属性名称；插入所有的谓词节点后，插入叶子节点来代表数据的终止；

(2)扩展匹配树以支持覆盖性检测；为了记录数据间的覆盖关系，在叶子节点中增加两个指针链表；其中，第一个指针链表记录覆盖自己的数据，第二个指针链表记录自己所覆盖的数据；

(3)对数据进行松散覆盖检测，首先找出一个覆盖自己的节点，然后找出所有的被自己覆盖的节点，如此循环，根据上述两种节点的占比情况获得覆盖性指数。

4.如权利要求1或2所述的数据质量检测的方法，其特征在于：所述数据的实时性检测采用数据流滑动窗口平均值算法，包括以下步骤：

(1)对数据流进行单次扫描，对输入数据流滑动窗口中的数据取算术平均值，得到一条第一更新数据流；

(2)对上述第一更新数据流的滑动窗口中的数据取算数平均值得到第二更新数据流；

(3)根据上述两条数据流得到数据线性预测模型中的参数，结合预测步长获取数据的实时性指数。

5.如权利要求1或2所述的数据质量检测的方法，其特征在于：所述数据的数据准确性检测具体包括以下步骤：

(1)查询数据语句的逻辑要求是否正确；根据每个表提供的某个具有唯一性的字段进行关联时检查语句的逻辑顺序；当遇到一个查询语句的逻辑关系无法满足统计要求时，用临时表关联出正确的逻辑要求；

(2)查询的条件是否符合数据定义；根据既存的数据定义对相关字段加条件限制，以达到筛选出正确的数据结果集；检查条件是否都满足了数据定义的要求，如果是则提出进行确认，直到所写条件满足这个数据定义；

(3)数据对比，获得数据准确性指数。

6.一种数据质量检测的系统，其包括顺序连接的如下模块：

数据搜集模块，用于搜集数据并建立数据库；

覆盖性检测模块，用于检测所述数据库中的数据的覆盖性，获得数据的覆盖性指数；

实时性检测模块，用于检测所述数据库中的数据的实时性，获得数据的实时性指数；

准确性检测模块，用于检测所述数据库中的数据的准确性，获得数据的准确性指数；

数据质量评估模块，用于对上述覆盖性指数、实时性指数、准确性指数做加权平均，评估数据质量。