[发明专利]多源异构数据的质量评估方法与系统

权利要求书

1.一种多源异构数据的质量评估方法，包括以下步骤，其特征在于：包括以下步骤：

S1、获取多源异构海量数据作为待评估数据集；

S2、针对所述待评估数据集的特点、关联业务以及数据归属，预设多维度参数的数据质量规则，并对每条数据质量规则的每个维度参数，预设评定的分值范围；

S3、利用预设的所述数据质量规则的维度参数分值和重要性权重，构建数据质量规则的权重矩阵；

S4、通过计算数据质量规则的通过率，从数据的完整性、准确性、一致性、时效性、规范性多个维度，分别计算数据质量评估得分，结合数据质量规则的权重矩阵，对全部数据质量规则的通过率进行加权求和，得出待评估的数据集的综合评估结果。

2.根据权利要求1所述的多源异构数据的质量评估方法，其特征在于：在S1中，获取多源异构海量数据包括以标准化采集任务模板来快速接入各类数据；针对多源异构实时数据，采用消息队列技术获取；针对多源异构海量历史数据，采用数据总线技术获取；所述多源异构数据存储至内存数据库或并行数据库，形成待评估数据集。

3.根据权利要求2所述的多源异构数据的质量评估方法，其特征在于：在S2中，在预设多维度参数的数据质量规则时，所述维度参数包括所属系统重要性、引用次数、约束类型、规则完备度、评估对象相关度、规则重要性。

4.根据权利要求1所述的多源异构数据的质量评估方法，其特征在于：在S3中数据质量规则权重矩阵采用如下公式表示：

W_i＝a％*W_a(i)+b％*W_b(i)+c％*W_c(i)+d％*W_d(i)+e％*W_e(i)+f％*W_f(i)

其中：W_i代表第i项数据质量规则的加权分值；W_a(i)代表第i项数据质量规则在“a”维度下的分值，W_b(i)，W_c(i)，W_d(i)，W_e(i)，W_f(i)含义与W_a(i)同，分别表示在各自对应维度下的分值；a％，b％，c％，d％，e％，f％分别代表权重矩阵中各个维度参数的占比，且a％+b％+c％+d％_e％+f％＝100％。

5.根据权利要求1所述的多源异构数据的质量评估方法，其特征在于：在S4中对数据质量综合评估时，采用如下公式

其中：S表示数据质量的综合得分；W_i表示第i个数据质量规则的加权分值；Re_i表示第i个的数据质量规则的通过率；n表示全部数据质量规则的数量。

6.一种多源异构数据的质量评估系统，其特征在于：包括数据采集模块、数据质量规则预设模块、数据质量规则权重矩阵和数据质量综合评估模型；

所述数据采集模块，用于获取多源异构海量数据作为待评估数据集；

所述数据质量规则预设模块，用于根据所述待评估数据集的特点、关联业务以及数据归属，预设多维度参数的数据质量规则，并对每条数据质量规则的每个维度参数，预设评定的分值范围；

所述数据质量规则权重矩阵，利用预设的所述数据质量规则的维度参数分值和重要性权重，构建而成；所述数据质量规则权重矩阵，用于对每条数据质量规则匹配权重；

所述数据质量综合评估模型，通过计算数据质量规则的通过率，从数据的完整性、准确性、一致性、时效性、规范性多个维度，分别计算数据质量评估得分，结合数据质量规则的权重矩阵模型，对全部数据质量规则的通过率进行加权求和，对待评估的数据集的综合评估结果。