[发明专利]数据处理方法、系统、设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

利用分布式计算框架中的数据采集节点并行地从源数据库产生的日志数据中获取原始增量数据并输出至分布式计算框架中的消息管理节点；

利用分布式计算框架中的消息管理节点将所述原始增量数据分类存储至不同的消息队列中；

根据当前的业务需求，从不同的消息队列中确定目标消息队列，并利用分布式计算框架中的数据流引擎节点对目标消息队列中的原始增量数据进行实时分析处理，以获取目标增量数据；

利用分布式计算框架中的同步节点将目标增量数据实时同步至分布式文件系统中。

2.根据权利要求1所述的方法，其特征在于，利用分布式计算框架中的数据采集节点并行地从源数据库产生的日志数据中获取原始增量数据，包括：

分布式计算框架中的数据采集节点通过模拟与源数据库的交互协议，向源数据库发出数据请求，以向源数据库请求在当前时间段内产生的日志数据；

接收源数据库发送的日志数据；

对所述日志数据进行格式解析，将解析结果作为原始增量数据。

3.根据权利要求1所述的方法，其特征在于，利用分布式计算框架中的消息管理节点将所述原始增量数据分类存储至不同的消息队列中，包括：

分布式计算框架中的消息管理节点将原始增量数据进行分类；

将分类的后增量数据按照顺序分别存储至不同的消息队列中。

4.根据权利要求1所述的方法，其特征在于，根据当前的业务需求，从不同的消息队列中确定目标消息队列，包括：

根据当前的业务需求，确定当前业务所需增量数据的目标数据类型；

从不同的消息队列中选择与所述目标数据类型对应的目标消息队列。

5.根据权利要求1所述的方法，其特征在于，在利用分布式计算框架中的数据采集节点并行地从源数据库产生的日志数据中获取原始增量数据之前，还包括：

利用分布式计算框架中的主控节点，启动主控制程序，对多个数据处理进行初始化。

6.一种数据处理系统，其特征在于，包括：多台计算机设备；所述多台计算机设备上部署有分布式计算框架，所述分布式计算框架包括：主控节点、数据采集节点、消息管理节点、数据流引擎节点和同步节点；

所述主控节点，利用分布式计算框架中的数据采集节点并行地从源数据库产生的日志数据中获取原始增量数据并输出至分布式计算框架中的消息管理节点；

利用分布式计算框架中的消息管理节点将所述原始增量数据分类存储至不同的消息队列中；

根据当前的业务需求，从不同的消息队列中确定目标消息队列，并利用分布式计算框架中的数据流引擎节点对目标消息队列中的原始增量数据进行实时分析处理，以获取目标增量数据；

利用分布式计算框架中的同步节点将目标增量数据实时同步至分布式文件系统中。

7.根据权利要求6所述的方法，其特征在于，所述主控节点可动态配置数据采集节点、消息管理节点、数据流引擎节点和同步节点中的进程的数量进行数据处理。

8.一种主控设备，其特征在于，所述主控设备上部署有分布式计算框架中的主控节点，所述分布式计算框架还包括数据采集节点、消息管理节点、数据流引擎节点和同步节点；所述主控设备包括：一个或多个处理器以及一个或多个存储计算机程序的存储器；所述一个或多个处理器，用于执行所述计算机程序，以用于：

利用分布式计算框架中的数据采集节点并行地从源数据库产生的日志数据中获取原始增量数据并输出至分布式计算框架中的消息管理节点；

利用分布式计算框架中的消息管理节点将所述原始增量数据分类存储至不同的消息队列中；

根据当前的业务需求，从不同的消息队列中确定目标消息队列，并利用分布式计算框架中的数据流引擎节点对目标消息队列中的原始增量数据进行实时分析处理，以获取目标增量数据；

利用分布式计算框架中的同步节点将目标增量数据实时同步至分布式文件系统中。

9.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被一个或多个处理器执行时，致使所述一个或多个处理器执行权利要求1-5任一所述方法中的步骤。