[发明专利]基于Flink实时任务脏数据插件化管理的方法和系统

权利要求书

1.一种基于Flink实时任务脏数据插件化管理的方法，其特征在于，包括：

脏数据管理者获取脏数据配置信息，实例化脏数据管理者，实例化对应的脏数据插件对象；

所述脏数据管理者收集任务产生的脏数据及异常原因，将所述脏数据及异常原因存入消息队列；

所述脏数据管理者启动脏数据插件对象中的脏数据消费者；

所述脏数据消费者轮训消费所述消息队列中的脏数据；

如果所述脏数据消费者消费所述消息队列中的脏数据成功，所述脏数据管理者将脏数据消费计数值加1，直至脏数据消费计数值达到预设脏数据消费计数值，确定所述任务失败；如果所述脏数据消费者消费所述消息队列中的脏数据失败，所述脏数据管理者将失败数据计数值加1，直至失败数据计数值达到预设失败数据计数值，确定所述任务失败。

2.根据权利要求1所述的方法，其特征在于，所述脏数据管理者启动脏数据插件对象中的脏数据消费者之前，还包括：

所述脏数据管理者确定所述消息队列中的第一条脏数据。

3.根据权利要求1所述的方法，其特征在于，所述脏数据管理者收集任务产生的脏数据及异常原因，将所述脏数据及异常原因存入消息队列之前，还包括：

所述脏数据管理者初始化所述消息队列。

4.根据权利要求1所述的方法，其特征在于，所述脏数据消费者轮训所述消息队列中的脏数据包括：

所述脏数据消费者通过脏数据消费者子类轮训消费所述消息队列中的脏数据。

5.一种基于Flink实时任务脏数据插件化管理的系统，其特征在于，包括：根据脏数据配置信息实例化得到的脏数据管理者，以及实例化得到的脏数据消费者；

所述脏数据管理者，用于收集任务产生的脏数据及异常原因，将所述脏数据及异常原因存入消息队列；启动脏数据插件对象中的所述脏数据消费者；

所述脏数据消费者，用于轮训消费所述消息队列中的脏数据；

所述脏数据管理者，还用于在如果所述脏数据消费者消费所述消息队列中的脏数据成功，将脏数据消费计数值加1，直至脏数据消费计数值达到预设脏数据消费计数值，确定所述任务失败；如果所述脏数据消费者消费所述消息队列中的脏数据失败，将失败数据计数值加1，直至失败数据计数值达到预设失败数据计数值，确定所述任务失败。

6.根据权利要求5所述的系统，其特征在于，所述脏数据管理者，还用于在启动脏数据插件对象中的脏数据消费者之前，确定所述消息队列中的第一条脏数据。

7.根据权利要求5所述的系统，其特征在于，所述脏数据管理者，还用于在收集任务产生的脏数据及异常原因，将所述脏数据及异常原因存入消息队列之前，初始化所述消息队列。

8.根据权利要求5所述的系统，其特征在于，所述脏数据消费者通过如下方式轮训所述消息队列中的脏数据：

所述脏数据消费者，具体用于通过脏数据消费者子类轮训消费所述消息队列中的脏数据。