[发明专利]数据处理方法、系统、设备及存储介质

说明书

本申请实施例提供一种数据处理方法、系统、设备及存储介质。在本申请的一些实施例中，在多台计算机设备上部署分布式计算框架，分布式计算框架包括：主控节点、数据采集节点、消息管理节点、数据流引擎节点和同步节点；在主控节点的控制下，数据采集节点、消息管理节点、数据流引擎节点和同步节点对数据进行实时处理，提高数据同步效率，且数据处理扩展性和容错性均得到提高；采用分布式计算框架处理数据流的方法能够在数据无序或延迟加载的情况下保证数据准确性，在发生故障的情况下，通过检查点机制，从上一个完成的检查点进行数据恢复处理，确保在应用程序中保持一次性状态语义，并且支持大规模并行计算，有较好的吞吐量和低延迟。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据处理方法、系统、设备及存储介质。

背景技术

数据同步，就是在不同的系统之间同步数据。根据具体业务目的和应用场景的不同，各种数据同步服务框架的功能侧重点往往不尽相同，比如数据传输服务，数据采集服务，数据交换服务等等。

目前，业务数据系统的数据量大、数据文件多、数据格式不统一，导致在数据同步过程中实时性差，且扩展性差、容错性差。

发明内容

本申请的多个方面提供一种数据处理的方法、系统、设备及存储介质，利用分布式计算框架解决数据同步过程中的实时性差、且扩展性差、容错性差的问题。

本申请实施例提供一种数据处理方法，包括：利用分布式计算框架中的数据采集节点并行地从源数据库产生的日志数据中获取原始增量数据并输出至分布式计算框架中的消息管理节点；利用分布式计算框架中的消息管理节点将所述原始增量数据分类存储至不同的消息队列中；根据当前的业务需求，从不同的消息队列中确定目标消息队列，并利用分布式计算框架中的数据流引擎节点对目标消息队列中的原始增量数据进行实时分析处理，以获取目标增量数据；利用分布式计算框架中的同步节点将目标增量数据实时同步至分布式文件系统中。

本申请实施例提供一种数据处理系统，包括：多台计算机设备；所述多台计算机设备上部署有分布式计算框架，所述分布式计算框架包括：主控节点、数据采集节点、消息管理节点、数据流引擎节点和同步节点；所述主控节点，利用分布式计算框架中的数据采集节点并行地从源数据库产生的日志数据中获取原始增量数据并输出至分布式计算框架中的消息管理节点；利用分布式计算框架中的消息管理节点将所述原始增量数据分类存储至不同的消息队列中；根据当前的业务需求，从不同的消息队列中确定目标消息队列，并利用分布式计算框架中的数据流引擎节点对目标消息队列中的原始增量数据进行实时分析处理，以获取目标增量数据；利用分布式计算框架中的同步节点将目标增量数据实时同步至分布式文件系统中。

本申请实施例提供一种主控设备，所述主控设备上部署有分布式计算框架中的主控节点，所述分布式计算框架还包括数据采集节点、消息管理节点、数据流引擎节点和同步节点；所述主控设备包括：一个或多个处理器以及一个或多个存储计算机程序的存储器；所述一个或多个处理器，用于执行所述计算机程序，以用于：利用分布式计算框架中的数据采集节点并行地从源数据库产生的日志数据中获取原始增量数据并输出至分布式计算框架中的消息管理节点；利用分布式计算框架中的消息管理节点将所述原始增量数据分类存储至不同的消息队列中；根据当前的业务需求，从不同的消息队列中确定目标消息队列，并利用分布式计算框架中的数据流引擎节点对目标消息队列中的原始增量数据进行实时分析处理，以获取目标增量数据；利用分布式计算框架中的同步节点将目标增量数据实时同步至分布式文件系统中。

本申请实施例提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，致使所述一个或多个处理器执行上述方法中的各步骤。