[发明专利]基于Flink实时任务脏数据插件化管理的方法和系统

说明书

本发明提供了一种基于Flink实时任务脏数据插件化管理的方法和系统，其中方法包括：脏数据管理者获取脏数据配置信息，实例化脏数据管理者，实例化对应的脏数据插件对象；脏数据管理者收集任务产生的脏数据及异常原因，将脏数据及异常原因存入消息队列；脏数据管理者启动脏数据插件对象中的脏数据消费者；脏数据消费者轮训消费消息队列中的脏数据；如果脏数据消费者消费消息队列中的脏数据成功，脏数据管理者将脏数据消费计数值加1，直至脏数据消费计数值达到预设脏数据消费计数值，确定任务失败；如果脏数据消费者消费消息队列中的脏数据失败，脏数据管理者将失败数据计数值加1，直至失败数据计数值达到预设失败数据计数值，确定任务失败。

技术领域

本发明涉及大数据技术数据处理技术领域，尤其涉及一种基于Flink实时任务脏数据插件化管理的方法和系统。

背景技术

从大数据数据仓库的角度分析，无论实时任务，还是离线任务，在任务过程中生成的错误数据也是有效数据的一部分，是应该成为历史数据的一部分。而现在的Flink实时任务没有很好地将错误数据记录落库，也无法将错误数据对接其他任务进行计算，只是单一地过滤错误数据，导致缺失部分数据，影响任务结果准确性。

在遇到错误数据的策略，要么任务直接失败重启，要么忽略全部脏数据，无法做到根据错误的数量来控制任务的停止与否。

发明内容

本发明旨在提供一种克服上述问题之一或者至少部分地解决上述任一问题的基于Flink实时任务脏数据插件化管理的方法和系统。

为达到上述目的，本发明的技术方案具体是这样实现的：

本发明一方面提供了一种基于Flink实时任务脏数据插件化管理的方法，包括：脏数据管理者获取脏数据配置信息，实例化脏数据管理者，实例化对应的脏数据插件对象；所述脏数据管理者收集任务产生的脏数据及异常原因，将所述脏数据及异常原因存入消息队列；所述脏数据管理者启动脏数据插件对象中的脏数据消费者；所述脏数据消费者轮训消费所述消息队列中的脏数据；如果所述脏数据消费者消费所述消息队列中的脏数据成功，所述脏数据管理者将脏数据消费计数值加1，直至脏数据消费计数值达到预设脏数据消费计数值，确定所述任务失败；如果所述脏数据消费者消费所述消息队列中的脏数据失败，所述脏数据管理者将失败数据计数值加1，直至失败数据计数值达到预设失败数据计数值，确定所述任务失败。

其中，所述脏数据管理者启动脏数据插件对象中的脏数据消费者之前，方法还包括：所述脏数据管理者确定所述消息队列中的第一条脏数据。

其中，所述脏数据管理者收集任务产生的脏数据及异常原因，将所述脏数据及异常原因存入消息队列之前，方法还包括：所述脏数据管理者初始化所述消息队列。

其中，所述脏数据消费者轮训所述消息队列中的脏数据包括：所述脏数据消费者通过脏数据消费者子类轮训消费所述消息队列中的脏数据。

本发明另一方面提供了一种基于Flink实时任务脏数据插件化管理的系统，包括：根据脏数据配置信息实例化得到的脏数据管理者，以及实例化得到的脏数据消费者；所述脏数据管理者，用于收集任务产生的脏数据及异常原因，将所述脏数据及异常原因存入消息队列；启动脏数据插件对象中的所述脏数据消费者；所述脏数据消费者，用于轮训消费所述消息队列中的脏数据；所述脏数据管理者，还用于在如果所述脏数据消费者消费所述消息队列中的脏数据成功，将脏数据消费计数值加1，直至脏数据消费计数值达到预设脏数据消费计数值，确定所述任务失败；如果所述脏数据消费者消费所述消息队列中的脏数据失败，将失败数据计数值加1，直至失败数据计数值达到预设失败数据计数值，确定所述任务失败。

其中，所述脏数据管理者，还用于在启动脏数据插件对象中的脏数据消费者之前，确定所述消息队列中的第一条脏数据。

其中，所述脏数据管理者，还用于在收集任务产生的脏数据及异常原因，将所述脏数据及异常原因存入消息队列之前，初始化所述消息队列。