[发明专利]一种基于数据转换整合的实时数据处理方法

说明书

本发明公开了一种基于数据转换整合的实时数据处理方法，包括以下步骤：首先确定熟悉所需对接消息中间件的软件特性，制定数据转换整合系统集成此中间件的方案；适配抽取插件和加载插件并且使插件适应流式实时传输处理数据；定制消息确认插件，增加容错能力。本发明为数据转换整合系统提供了一种可行有效的实时数据处理方法；本发明可适配市场上多种不同的消息中间件；本发明提供了消息确认机制，由于异常未被确认的消息可重新消费处理，使用此方法保证了数据的完整性、可靠性。

技术领域

本发明涉及信息技术，特别是一种基于数据转换整合的实时数据处理方法。

背景技术

近几十年来，随着科技的迅猛发展和信息化建设的推进，使得人类社会所积累的数据量大大增加，数据的采集、存储、处理和传播的数量也与日俱增，因此传统的数据转换整合系统应运而生，数据转换整合系统构建数据仓库的核心是建模，在数据仓库的构建中，数据转换整合系统贯穿于项目始终，它是整个数据仓库的生命线。从数据源中抽取数据，然后对这些数据进行转化，最终加载到目标数据库或者数据仓库中去，这也就是我们通常所说的ETL过程(Extract TransformLoad)，通常数据抽取工作分抽取、清洗、转换、装载几个步骤，可见传统ETL系统主要应用于任务级别的对于数据的批处理操作。但是随着信息软件的技术发展，现代软件对于数据的实时性要求越来越高，而传统数据转换整合系统系统并没有针对此种应用场景提供很好的技术方案。

发明内容

发明目的：本发明的目的是提供一种基于数据转换整合的实时数据处理方法，从而解决传统数据转换整合系统对于实时数据处理能力不足的问题，使系统拥有类似于flink和blink的实时数据处理能力，增加和拓展传统数据转换整合系统的应用范围和可用性。

技术方案：本发明所述的一种基于数据转换整合的实时数据处理方法，包括以下步骤：

(1)确定熟悉所需对接消息中间件的软件特性和SDK文档，制定数据转换整合系统集成此中间件的方案；

(2)根据(1)适配消息消费插件，插件按行消费消息中间件中的缓存数据，且给每条数据标记产生一个唯一MessageId后把数据传递给后续插件；插件能够设置消费最大时间或消费最大行数，当插件所在任务运行时，处理数据时间达到最大时长设置值或处理数据行数达到消费最大行数设置值，任务自动停止；

(3)根据(1)适配消息生产插件，插件能够从前序插件中获取数据并提交到消息中间件中；能够设置提交的最大等待时间和最大等待行数，当插件所在任务运行时，此插件缓存数据每达到设置的最大等待时间或最大等待行数，则提交一次数据入息中间件；能够根据实时性要求，灵活调整参数，实时性要求越高的场景，最大等待时间和最大等待行数越低；

(4)根据(1)适配消息确认插件，(2)中每条消息会产生一个MessageId；本插件从(3)中消息生产插件获取MessageId后通知(2)中消息消费插件，消息消费插件拿到通知后则提交当前数据点位，被提交点位的数据视为业务正常完成的数据，当出现异常时该数据不会再次被(2)消息消费插件消费；

(5)数据转换整合系统管理页面对任务进行设置执行规则，当任务不在运行时则立即启动该任务，使任务在异常退出或(2)设置的条件达到退出时，自动重新启动继续消费处理数据；

(6)根据实际应用情况进行迭代优化，并监控此种特殊类型的任务的运行情况。

步骤(1)所述的对接消息中间件包括ActiveMQ、kafka、Datahub、RocketMq。

步骤(1)所述的中间件的方案内容包含跟据中间件SDK和数据转换整合系统插件适配原理，在数据转换整合系统中适配能够从中间件消费数据的插件、生产数据的插件、消息确认的插件。

一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的一种基于数据转换整合的实时数据处理方法。