[发明专利]一种任务分片配置方法及装置、设备、存储介质

说明书

本发明实施例公开了一种任务分片配置方法及装置、设备、存储介质，该方法包括任务配置平台通过在注册中心注册，以订阅服务；根据提供订阅服务的机器的配置信息，对待处理任务进行非均匀分片得到子任务，并根据订阅服务的机器的配置信息对子任务进行配置。本发明实施例基于提供订阅服务的机器的配置信息，对待处理任务进行非均匀分片和配置，以实现按照机器配置来承担任务的目的，达到资源有效合理使用，避免高配机器支援空闲，以及减少低配机器负载较高经常宕机风险，实现分布式任务的动态分配任务的功能。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种任务分片配置方法及装置、设备、存储介质。

背景技术

在进行大量数据的处理过程中，为了提高效率，可以将一个任务拆分为多个任务分片，由多个服务器同时进行处理。目前，通常基于Elastic-job分布式调度框架和TBSchedule分布式调度框架实现任务分片。

但是Elastic-job分布式调度框架和TBSchedule分布式调度框架都是基于zookeeper来实现任务调度的高可用和分片，并不能根据机器实际配置情况，进行不均匀分片处理，即不能让高配置机器多承担一些分片项，低配置机器少承担一些分片项。

发明内容

本发明实施例期望提供一种任务分片配置方法及装置、设备、存储介质，能够实现不均匀分片处理，按照机器的配置对任务进行配置，达到资源有效合理使用，避免高配机器支援空闲，同时减少低配机器负载较高经常宕机风险。

本发明的技术方案是这样实现的：

本发明实施例提供一种任务分片配置方法，应用于Quartz任务配置平台，包括：

发送服务消费注册请求至注册中心；所述服务消费注册请求携带有待处理任务；

接收所述注册中心响应于所述服务消费注册请求发送的目标地址信息；其中，目标地址信息表征用于执行所述待处理任务的机器；

基于所述目标地址信息的配置信息以及预设分片算法，对所述待处理任务分片处理，以得到子任务；其中，所述配置信息表征所述机器的中央处理器CPU和内存；

基于所述目标地址信息的所述配置信息，对所述子任务进行配置，得到配置结果；其中，所述任务配置平台通过所述配置结果获得用于处理所述子任务的服务。

上述方案中，所述基于所述目标地址信息的所述配置信息以及所述预设分片算法，对所述待处理任务分片处理，以得到子任务，包括：

基于所述目标地址信息中每个目标地址信息的所述配置信息，对所述目标地址信息进行对比，并得到对比结果；

根据所述对比结果以及所述预设分片算法，对所述待处理任务分片处理，以得到所述子任务。

上述方案中，所述根据所述对比结果以及所述预设分片算法，对所述待处理任务分片处理，以得到所述子任务，包括：

若所述对比结果为所述目标地址信息之间不存在配置差异，则根据所述预设分片算法，以及所述目标地址信息的数量，对所述待处理任务分片处理，并得到多个第一子任务；其中，所述多个第一子任务表征所述子任务；所述多个第一子任务的数量为所述目标地址信息数量的整数倍。

上述方案中，所述根据所述对比结果以及所述预设分片算法，对所述待处理任务分片处理，以得到所述子任务，包括：

若所述对比结果为所述目标地址信息之间存在配置差异，则根据所述每个目标地址信息的所述配置信息，对所述目标地址信息进行划分，并得到至少两组目标地址信息；

根据所述至少两组目标地址信息以及所述预设分片算法，对所述待处理任务分片处理，以得到所述子任务。