[发明专利]基于数据分布波动率的数据一致性评估方法

说明书

本发明公开一种基于数据分布波动率的数据一致性评估方法，应用于大数据分析处理领域，针对现有技术无法找出业务系统bug或者etl过程中出现错误导致一些数据丢失或者修改错误的问题；本发明首先，根据时间戳字段，将待测数据分为历史数据和当前数据；然后，分析待测数据中不同的值模式当前的占比与过去的占比，并将占比的变化幅度与给定的阈值比较；如果某数据存在值模式占比变化幅度大于阈值，则认为该数据存在一致性问题；否则数据正常；本发明的方法可以快速有效地找出业务系统bug或者etl过程中出现错误导致一些数据丢失或者修改错误。

技术领域

本发明属于大数据分析处理领域，特别涉及一种对结构化数据的一致性评估技术。

背景技术

结构化数据，简单来说就是数据库。结合到典型场景中更容易理解，比如企业ERP、财务系统；医疗HIS数据库；教育一卡通；政府行政审批；其他核心数据库等。

基本包括高速存储应用需求、数据备份需求、数据共享需求以及数据容灾需求。

结构化数据也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。与结构化数据相对的是不适于由数据库二维表来表现的非结构化数据，包括所有格式的办公文档、XML、HTML、各类报表、图片和音频、视频信息等。支持非结构化数据的数据库采用多值字段、了字段和变长字段机制进行数据项的创建和管理，广泛应用于全文检索和各种多媒体信息处理领域。

随着信息技术的发展，各部门及企事业单位纷纷建设数据中心。由于数据来源的数据质量水平未知，etl(Extract Transform Loading，数据抽取转化装载规则)过程错误等总是会出现数据不一致的现象。数据一致性是数据质量评估的一个维度，侧重评估数据变更或变异的程度。目前市面上通常仅仅评估字段内数据格式一致性来评估数据一致性。事实上，仅仅评估字段内数据格式一致无法解决如下问题：

业务系统bug或者etl过程中出现错误导致一些数据丢失或者修改错误。通常的评估方法无法找出这样异常的数据。

发明内容

为解决上述技术问题，本发明提出一种基于数据分布波动率的数据一致性评估方法，通过评估字段内值模式分布波动率来初步找到波动异常的数据。

本发明采用的技术方案为：一种基于数据分布波动率的数据一致性评估方法，首先，根据时间戳字段，将待测数据分为历史数据和当前数据；然后，分析待测数据中不同的值模式当前的占比与过去的占比，并将占比的变化幅度与给定的阈值比较；如果某数据存在值模式占比变化幅度大于阈值，则认为该数据存在一致性问题；否则数据正常。

所述模式值占比计算式为：

其中，∑_x＝k1用于统计等于某个值的数据条数，x为自变量，k为数据值，∑1用于表示该字段数据总条数。

所述占比的变化幅度具体为待测数据当前值模式占比与历史占比的差值。

当然，在根据时间戳字段，将待测数据分为历史数据和当前数据之前，还包括：判断待测数据是否为空，若为空，则结束；否则根据时间戳字段，将待测数据分为历史数据和当前数据。

本发明的有益效果：本发明能够评估字段内某些值模式与过去相比在数量上波动变化情况，能够发现一些异常点，即当前在数量上变化幅度超出预期的值模式。通过本发明的方法，数据工程师可以评估数据是否符合历史规律，是否可能存在etl过程错误或应用系统bug引起数据不一致的情况，可以作为评估数据一致性的一种方法。

附图说明

图1为本发明的方案流程图。

具体实施方式