[发明专利]一种基于KAFKA的数据持久化任务分布式调度方法及系统

说明书

本发明提供了一种基于KAFKA的数据持久化任务分布式调度方法及系统，该方法通过KAFKA向任务管理模块新增持久化任务，持久化任务执行器向NACOS注册服务信息，任务管理模块通过监听NACOS获取持久化任务执行器的上下线信息，并根据持久化任务执行器上下线情况动态分配任务，持久化任务执行器执行任务并将待持久化数据写入持久化存储组件中。本发明具有横向易于扩展、资源利用合理的特性，解决了当需要持久化的数据种类变多的时候，单体应用无法满足性能要求的问题，具有较高的实用价值。本发明采用任务调度集中管理的模式，持久化任务执行器采用分布式部署的方式，各个持久化任务执行器之间互不影响。本发明能够有效利用分布式资源，提高了系统的扩展性和健壮性。

技术领域

本发明属于大数据应用技术领域，具体涉及一种基于KAFKA的数据持久化任务分布式调度方法及系统。

背景技术

随着数据接入种类越来越多，通过多线程的单体数据持久化应用使用的内存及线程越来越多，对服务器的性能等要求越来要高，服务器无法支撑单体应用的运行要求，且单体数据持久化应用无法满足分布式的要求。

Nacos是构建以“服务”为中心的现代应用架构(例如微服务范式、云原生范式)的服务基础设施，致力于微服务的发现、管理和信息配置，能帮助开发者快速实现动态服务发现、服务配置、服务元数据及流量管理，从而更敏捷、更容易的构建、交付和管理微服务平台。Nacos支持几乎所有主流类型(诸如：KubernetesService、gRPCDubboRPCService、SpringCloudRESTfulService)的服务的发现、配置和管理。Nacos是开源的用于服务注册发现的组件。

Kafka是一个分布式的基于发布/订阅模式的消息队列(MessageQueue)，主要应用于大数据实时处理领域。

持久化就是将有用的数据以某种技术保存起来,将来可以再次取出来应用，包括和数据库相关的各种操作。持久化是一种数据库技术,将内存数据以文件的形式保存在永久介质中(磁盘等)。

Topic是消息发布(Pub)者和订阅(Sub)者之间的传输中介。设备可通过Topic实现消息的发送和接收，从而实现服务端与设备端的通信。

发明内容

本发明的目的在于克服现有技术之缺陷，本发明提供了一种基于KAFKA的数据持久化任务分布式调度方法及系统，将单体应用改进成分布式持久化任务系统，以更好地利用资源，提高系统的扩展性和健壮性。

为了到达预期效果，本发明采用了以下技术方案：

本发明公开了一种基于KAFKA的数据持久化任务分布式调度方法，包括：通过KAFKA向任务管理模块新增持久化任务，持久化任务执行器向NACOS注册服务信息，任务管理模块通过监听NACOS获取持久化任务执行器的上下线信息，并根据持久化任务执行器上下线情况动态分配任务，持久化任务执行器执行任务并将待持久化数据写入持久化存储组件中。

进一步地，通过KAFKA向任务管理模块新增持久化任务具体包括：通过持久化任务管理界面配置KAFKA地址，创建包含需要监听的KAFKA的TOPIC和对应字段的任务，将任务信息下发给任务管理模块。

进一步地，任务管理模块根据任务的TOPIC分区情况及各个持久化任务执行器负载情况动态分配任务，其中，优先将任务分配给负载较低的持久化任务执行器。

进一步地，任务管理模块根据各个持久化任务执行器的负载情况进行负载均衡处理，具体包括：向负载较高的持久化任务执行器发送取消执行部分任务的消息指令，并向负载较低的执行器发送新增执行任务的消息指令以执行被取消的任务。

进一步地，根据监听的KAFKA的TOPIC的分区数生成对应数量的消费者，不同的消费者分布到不同的持久化任务执行器中进行任务执行。

进一步地，持久化任务执行器采用分布式部署以实现任务调度集中管理，并支持动态扩展。