[发明专利]基于大数据的质量分析方法、系统及存储介质

说明书

本公开所提供的基于大数据的质量分析方法、系统及存储介质，包括：获取终端产生的数据，并监测所获取的数据是否符合预设规则；若所获取数据符合预设规则，则存储符合预设规则的数据，并根据所存储数据编写评分规则，以监测所存储数据在被应用时的流转过程；判断所存储数据在被应用时的变化程度是否达到异常阈值；若达到异常阈值，发出错误警示。通过在数据获取、数据存储以及数据应用过程中对数据进行监测，能够对数据的质量进行管理，以提高数据的质量。

技术领域

本公开涉及数据质量管理技术领域，尤其涉及的是基于大数据的质量分析方法、系统及存储介质。

背景技术

由于数据来源多元化、且数据质量参差不齐，并不利于企业根据多方面收集的数据进行发展规划的制定。

即使市场上出现了对数据质量进行治理的平台，但由于现有的数据质量监测治理平台的针对性不强，在运用过程中需要开发人员进行数据质量的检测，进而导致因数据质量而引发的排查周期过长，且数据越繁杂，排查周期就会对应增长，导致数据质量监测治理平台在应用时的灵活性较差，同时也耗费大量的排查时间，不利于提高数据质量管理的效率，以致于对业务数据质量进行分析时存在明显的缺陷。

因此，现有技术存在缺陷，有待改进与发展。

发明内容

本公开要解决的技术问题在于，针对现有技术的上述缺陷，提供基于大数据的质量分析方法、系统及存储介质，旨在解决现有技术中数据质量监测治理平台的针对性不强，在运用过程中需要开发人员进行数据质量的检测，不利于提高数据质量管理效率的问题。

本公开解决技术问题所采用的技术方案如下：

基于大数据的质量分析方法，其中，包括：

获取终端产生的数据，并监测所获取的数据是否符合预设规则；

若所获取数据符合预设规则，则存储符合预设规则的数据，并根据所存储数据编写评分规则，以监测所存储数据在被应用时的流转过程；

判断所存储数据在被应用时的变化程度是否达到异常阈值；

若达到异常阈值，发出错误警示。

进一步地，所述获取终端产生的数据，并监测所获取的数据是否符合预设规则，之后还包括：

若所获取数据不符合预设规则，则发出错误警示。

进一步地，监测所获取的数据是否符合预设规则包括：

监测获取终端产生数据的响应时间是否在预设时间范围内；

或分析所获取数据的数据结构是否符合预设的数据结构变化范围；

或判断所获取数据的日总量是否超出预设数据总量。

进一步地，存储符合预设规则的数据，并根据所存储数据编写评分规则具体为：

存储符合预设规则的数据，并根据预设数据汇总规则统计所存储数据的日总量，进而根据所汇总的日总量编写评分规则。

进一步地，存储符合预设规则的数据，并根据预设数据汇总规则统计所存储数据的日总量，进而根据所汇总的日总量编写评分规则，之后包括：

监测所汇总数据的日总量是否达到预设评分值；

若否，则发出错误警示。

进一步地，获取终端所产生数据的路径至少包括kafka消息队列、http接口和FTP服务器中一种。

进一步地，监测所存储数据在被应用时的流转过程包括：

根据数据流转的生命周期，监测所存储数据在被应用时，是否存在数据丢失或者数据落地的时间是否在合理时间范围内。