[发明专利]一种基于数据转换整合的实时数据处理方法

权利要求书

1.一种基于数据转换整合的实时数据处理方法，其特征在于，包括以下步骤：

(1)确定熟悉所需对接消息中间件的软件特性和SDK文档，制定数据转换整合系统集成此中间件的方案；

(2)根据(1)适配消息消费插件，插件按行消费消息中间件中的缓存数据，且给每条数据标记产生一个唯一MessageId后把数据传递给后续插件；插件能够设置消费最大时间或消费最大行数，当插件所在任务运行时，处理数据时间达到最大时长设置值或处理数据行数达到消费最大行数设置值，任务自动停止；

(3)根据(1)适配消息生产插件，插件能够从前序插件中获取数据并提交到消息中间件中；能够设置提交的最大等待时间和最大等待行数，当插件所在任务运行时，此插件缓存数据每达到设置的最大等待时间或最大等待行数，则提交一次数据入息中间件；能够根据实时性要求，灵活调整参数，实时性要求越高的场景，最大等待时间和最大等待行数越低；

(4)根据(1)适配消息确认插件，(2)中每条消息会产生一个MessageId；本插件从(3)中消息生产插件获取MessageId后通知(2)中消息消费插件，消息消费插件拿到通知后则提交当前数据点位，被提交点位的数据视为业务正常完成的数据，当出现异常时该数据不会再次被(2)消息消费插件消费；

(5)数据转换整合系统管理页面对任务进行设置执行规则，当任务不在运行时则立即启动该任务，使任务在异常退出或(2)设置的条件达到退出时，自动重新启动继续消费处理数据；

(6)根据实际应用情况进行迭代优化，并监控此种特殊类型的任务的运行情况。

2.根据权利要求1所述的一种基于数据转换整合的实时数据处理方法，其特征在于，步骤(1)所述的对接消息中间件包括ActiveMQ、kafka、Datahub、RocketMq。

3.根据权利要求1所述的一种基于数据转换整合的实时数据处理方法，其特征在于，步骤(1)所述的中间件的方案内容包含跟据中间件SDK和数据转换整合系统插件适配原理，在数据转换整合系统中适配能够从中间件消费数据的插件、生产数据的插件、消息确认的插件。

4.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-3中任一项所述的一种基于数据转换整合的实时数据处理方法。

5.一种计算机设备，包括储存器、处理器及存储在存储器上并可再处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-3中任一项所述的一种基于数据转换整合的实时数据处理方法。