[发明专利]一种大数据端到端的数据质量监控方法和装置

权利要求书

1.一种大数据的端到端的数据质量监控方法，包括：

统计大数据处理流程中各阶段的数据质量以上报至监控系统；

所述监控系统对接收到的所述各阶段的数据质量进行分析，以判断是否需要告警；

当所述监控系统判定需要告警时，发送告警信息至告警系统；

所述告警系统对所述告警信息分析处理后进行告警操作，并将分析处理后的告警信息发送至工单系统；

所述工单系统接收所述分析处理后的告警信息，并基于所述分析处理后的告警信息下发工单。

2.根据权利要求1所述的方法，其中，所述监控系统对接收到的所述各阶段的数据质量进行分析，以判断是否需要告警包括：

所述监控系统基于预先生成的告警模型，对接收到的所述各阶段的数据质量进行分析，以判断是否需要告警。

3.根据权利要求2所述的方法，其中，还包括：

所述工单系统跟踪所述告警操作的扭转状态，并将所述告警操作的处理结果发送至机器学习系统；

所述机器学习系统基于所述处理结果训练得到告警模型，并发送所述训练得到的告警模型至模型存储系统；

所述模型存储系统接收并存储所述训练得到告警模型，以用于所述监控系统对接收到的数据质量进行分析。

4.根据权利要求1所述的方法，其中，所述告警系统对所述告警信息分析处理包括：对重复告警进行过滤，对关联告警进行合并。

5.一种大数据的端到端的数据质量监控装置，包括：

监控系统，用于接收大数据处理流程中各阶段统计上传的数据质量，并进行分析，以判断是否需要告警，并且当所述监控系统判定需要告警时，发送告警信息至告警系统；

告警系统，用于对所述告警信息分析处理后进行告警操作，并将分析处理后的告警信息发送至工单系统；

工单系统，用于接收所述分析处理后的告警信息，并基于所述分析处理后的告警信息下发工单。

6.根据权利要求5所述的装置，其中，所述监控系统对接收到的所述各阶段的数据质量进行分析，以判断是否需要告警包括：

所述监控系统基于预先生成的告警模型，对接收到的所述各阶段的数据质量进行分析，以判断是否需要告警。

7.根据权利要求6所述的装置，其中，所述工单系统还用于跟踪所述告警操作的扭转状态，并将所述告警操作的处理结果发送至机器学习系统；所述装置还包括：

机器学习系统，用于基于所述处理结果训练得到告警模型，并发送所述训练得到的告警模型至模型存储系统；

模型存储系统，用于接收并存储所述训练得到告警模型，以用于所述监控系统对接收到的数据质量进行分析。

8.根据权利要求5所述的装置，其中，所述告警系统对所述告警信息分析处理包括：对重复告警进行过滤，对关联告警进行合并。

9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任意一项所述方法的步骤。

10.一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-4中任意一项所述方法的步骤。