[发明专利]一种大数据端到端的数据质量监控方法和装置

说明书

本发明公开一种大数据的端到端的数据质量监控方法、装置、电子设备及存储介质，该方法包括：将大数据处理流程中各阶段的数据质量统计上报给监控系统；监控系统将收集的数据质量进行分析处理，判断是否需要告警，并将需要告警的告警信息发送给告警系统；告警系统对告警信息分析处理后进行告警操作，并将分析处理后的告警信息发送至工单系统；工单系统接收所述告警信息，下发工单。该系统包括相互连接的监控系统，告警系统，工单系统。本发明实现了大数据端到端的数据质量监控，引入工单系统，通过将告警信息发送至工单系统，检测到问题后基于模型进行实时告警处理，然后自动接入工单系统通知到对应的人进行处理，真正做到监与控的结合。

技术领域

本发明属于数据质量监控技术领域，尤其涉及一种大数据端到端的数据质量监控方法及装置。

背景技术

现有技术中，对大数据的数据质量监控有多种方式，其中的一种方式包括对计算机中的所有应用系统按照专业进行区域划分；对不用种类的接口分别采用特定的监控方式进行数据提取；将采集的实时数据传输至数据处理层的数据库中；数据处理层对采集的原始数据进行分析处理，生成分析数据，发送至数据展现层进行展示；数据展现层以图形形式将各应用系统间的传输情况进行展示的步骤。

另一种方式是制定数据质量评价模型，所述数据质量评价模型包括人口数据质量评价模型和人口数据字段质量评价模型；根据所述数据质量评价模型对人口实体对象数据进行评价，得到评价内容，根据所述评价内容判断所述人口实体对象数据的质量；展现所述人口实体对象数据质量，供用户查阅。

然而，上述的方法对数据质量的监控都在特定领域下进行，没有一个整体的认识，监控模型不够灵活，缺少可扩展性和生长性。也即现有的这些监控方式仍存在一些缺陷：其做不到大数据环境下的端到端的实时监控，无法对大数据环境下的数据质量监控做到闭环处理；模型都是人工生成，后期灵活度不高；数据质量的监控没有与告警、工单系统自动打通，无法真正做到既监又控。

发明内容

本发明实施例提供了一种大数据的端到端的数据质量监控方法、采用这种监控方法的装置、电子设备及存储介质，用于至少解决上述技术问题之一。

第一方面，本发明实施例提供了一种大数据的端到端的数据质量监控方法，包括：

统计大数据处理流程中各阶段的数据质量以上报至监控系统；

所述监控系统对接收到的所述各阶段的数据质量进行分析，以判断是否需要告警；

当所述监控系统判定需要告警时，发送告警信息至告警系统；

所述告警系统对所述告警信息分析处理后进行告警操作，并将分析处理后的告警信息发送至工单系统；

所述工单系统接收所述分析处理后的告警信息，并基于所述分析处理后的告警信息下发工单。

进一步地，所述监控系统对接收到的所述各阶段的数据质量进行分析，以判断是否需要告警包括：

所述监控系统基于预先生成的告警模型，对接收到的所述各阶段的数据质量进行分析，以判断是否需要告警。

进一步地，所述工单系统跟踪所述告警操作的扭转状态，并将所述告警操作的处理结果发送至机器学习系统；

所述机器学习系统基于所述处理结果训练得到告警模型，并发送所述训练得到的告警模型至模型存储系统；

所述模型存储系统接收并存储所述训练得到的告警模型，以用于所述监控系统对接收到的数据质量进行分析。

进一步地，所述告警系统对所述告警信息分析处理包括：对重复告警进行过滤，对关联告警进行合并。

第二方面，本发明实施例提供一种大数据的端到端的数据质量监控装置，其包括：