[发明专利]一种数据质量评估方法及系统

说明书

本申请公开了一种数据质量评估方法及系统。该方法首先提取待进行数据质量评估的医院数据库表元数据信息，补充完善该表的数据模型和显示模型；补充完善后将表信息添加到数据资产列表中；通过可维护的检查规则逐一对表对象中的列进行检查规则配置，一个列得到至少一个列检查视图；针对表可以设置多个表检查方案，通过对表检查方案的执行得到表的数据质量分数和列所属数据质量级别；最终，针对数据资产可以设置多个评估方案，不同的评估方案可以对应多个不同的表检查方案，通过对评估方案的执行得到本次评估数据质量分数和表所属数据质量级别。可以看出，通过本申请可以快速分析统计数据得到目标数据资产的数据质量评估报告。

技术领域

本发明涉及数据质量评估领域，特别涉及一种数据质量评估方法及系统。

背景技术

信息化建设一般往往注重在业务功能和流程上，对数据的标准性方面没有关注，随着信息化建设的不断发展，国家卫计委对全国医院信息的可共享性要求越来越高，对数据标准越来越重视，最近五年陆续颁布一系列数据标准，并展开相关标准测评工作，要求医院的业务数据达到标准符合程度。另外一方面随着对数据利用的需求越来越高，数据一致性、数据标准型等问题往往阻碍了数据的利用。

医院要想提高数据标准符合程度，首先需要了解现有数据与标准有多大的距离，基本上只能通过手工写sql语句实现，而且还有很多疏漏，也不好统计，效率很低。

发明内容

基于此，本申请实施例提供了一种数据质量评估方法及系统，提高了数据的质量以及获取数据的效率。

第一方面，提供了一种数据质量评估方法，该方法包括：

提取待进行数据质量评估的医院数据库表元数据信息，补充完善该表的数据模型和显示模型；

将补充完善完成的数据模型和显示模型中的表信息添加到数据资产列表中，成为确定待设置质量检查的对象列表；

通过显示模型可浏览一个表对象的数据信息，通过可维护的检查规则逐一对表对象中的列进行检查规则配置，一个列得到至少一个列检查视图；

针对表可以设置多个表检查方案，一个表检查方案可以对应多个不同的列检查视图，通过对表检查方案的执行得到表的数据质量分数和列所属数据质量级别；

针对数据资产可以设置多个评估方案，不同的评估方案可以对应多个不同的表检查方案，通过对评估方案的执行得到本次评估数据质量分数和表所属数据质量级别。

可选地，在一个表检查方案中可以设置列的质量权重和质量级别范围，其特征在于，所述一个表检查方案可以对应多个不同的列检查视图，通过对表检查方案的执行得到表的数据质量分数和列所属数据质量级别，还包括：

所述数据资产列表中可以有多个检查方案，每个检查方案都可以由不同的列检查视图组成，每个检查方案中的列检查视图权重都可以不同、质量级别范围不同；

具体地，可以对表检查方案执行，通过逐一将表检查方案中的列检查视图动态生成SQL语句，对表对象的业务数据进行查询得到检出问题数量，通过检出问题数量与检查记录数得到正确率；

根据所述正确率与列的质量权重得到检查视图的字段得分和列质量级别，通过各个字段得分之和得到表检查方案得分和各列质量级别。

可选地，确定表检查方案所对应的列检查视图，根据确定的列检查视图形成至少一个表检查方案，包括：

通过第一公式形成所述表检查方案，其中，第一公式具体包括：

N＝Sum(Fv₁×w₁+Fv₂×w₂+…+Fv_n×w_n)