[发明专利]一种基于指标权重的数据质量科学算分评价方法及系统

说明书

本发明公开了一种基于指标权重的数据质量科学算分评价方法及系统，获取业务数据的评价指标，并对业务数据的评价指标进行综合评分，根据定义的评价指标计算业务数据的权重，根据各评价指标的权重对业务数据的评价指标进行综合评分得到质量评价结果,能够智能的对企业级数据的结构化数据与非结构化数据进行质量分析，并反馈给数据维护人员，对非结构化数据的容错性很好，数据质量分析的识别率高。

技术领域

本公开数据处理技术领域，具体涉及一种基于指标权重的数据质量科学算分评价方法及系统。

背景技术

随着大数据与人工智能的普及，对数据质量要求越来越高，错误的数据将会对企业的运营、决策造成严重的不良后果，因此如何快速提升企业数据质量成为企业信息化建设中至关重要的环节。当企业数据出现质量问题时通常采用配置规则进行评价指标，通过规则校验校验出问题数据，并对问题数据进行问题数据整改，从而提升企业数据质量。然而企业级数据数据存储数据库类型众多、数据量大、数据结构复杂。因此，很难对企业级数据的结构化数据与非结构化数据进行质量分析，从而进行过滤与筛选掉其中的脏数据、低价值的数据，从而选取出其中有价值的数据。

发明内容

为解决上述问题，本公开提供一种基于指标权重的数据质量科学算分评价方法及系统的技术方案，获取业务数据的评价指标，并对业务数据的评价指标进行综合评分，根据定义的评价指标计算业务数据的权重，根据各评价指标的权重对业务数据的评价指标进行综合评分得到质量评价结果。

为了实现上述目的，根据本公开的一方面，提供一种基于指标权重的数据质量科学算分评价方法，所述方法包括以下步骤：

S100，获取业务数据，所述业务数据的类型包括结构化数据与非结构化数据；

S200，获取业务数据的评价指标，并对业务数据的评价指标进行综合评分；

S300，根据定义的评价指标计算业务数据的权重；

S400，根据各评价指标的权重对业务数据的评价指标进行综合评分得到质量评价结果；

S500，对业务数据实际质量评价结果进行统计分析，包括对业务数据运行趋势及业务数据的各类评价指标对比情况；

S600，将统计分析结果以报告的形式反馈给数据维护人员。

进一步地，在S100中，业务数据为根据实际的业务需求对数据进行整理分类的数据，如：资产、营销、人资、财务、生产等数据。

进一步地，在S200中，评价指标为定义业务数据中某数据区域中数据的特征或定义数据质量关键指标，通过评价指标映射业务数据；定义数据质量关键指标为通过评价指标映射业务数据的数据结果的满意程度或业务数据的使用频率。

进一步地，在S200中，对业务数据的评价指标进行综合评分的方法为：评价指标通过对数据结果的满意程度来形容数据质量的优劣。最常见的方式是用户对各个影响因素打分，将满意程度分为若干等级，用户选择对某项评价指标的满意程度的等级；将满意程度等级分为[A]非常满意、[B]满意、[C]一般、[D]差、[E]很差五个等级，则评价指标的满意程度等级得分为：[A]得分为5分，[B]得分为4分，[C]得分为3分，[D]得分为2分，[E]得分为1分。

进一步地，在S300中，计算业务数据的权重的方法为：业务数据的权重＝业务数据类型*评价指标的满意程度等级得分；业务数据类型包括结构化数据为2，非结构化数据为1。

进一步地，在S400中，构建综合评分函数：通过公式计算得到质量评价结果Evaluate：