[发明专利]分布式动态调度方法、装置、电子设备及存储介质

说明书

本申请提供了一种分布式动态调度方法、装置、电子设备及存储介质，该方法包括：调度节点获取数据处理请求，并将所述数据处理请求加入请求缓冲队列进行缓存；所述调度节点执行调度操作为所述数据处理请求选择出目标处理节点，将所述数据处理请求下发给所述目标处理节点；若所述数据处理请求是所述目标处理节点未处理的会话，则所述目标处理节点通过分布式状态缓存对所述数据处理请求的会话的配置信息和状态信息进行同步；所述目标处理节点对所述数据处理请求进行处理，并向所述调度节点同步所述数据处理请求的处理状态。本申请实施例通过状态与计算的分离，有利于使有状态的应用在调度层面实现无状态化，使计算灵活迁移。

技术领域

本申请涉及分布式系统技术领域，尤其涉及一种分布式动态调度方法、装置、电子设备及存储介质。

背景技术

随着业务量的增长，现有视频图像产品的计算能力也将受到严峻考验，为了达到对巨大计算能力的要求，分布式系统成为视频图像产品发展的重要方向。分布式系统是建立在网络之上的软件系统，目前采用分布式系统的视频图像产品多属于有状态应用，所谓有状态应用是指数据的计算处理依赖于一定的上下文关系，即前后的处理之间存在关联与影响，例如：任务、会话的计算或数据处理受配置信息或上下文信息的影响和控制。然而，正是这种关联与影响，使有状态应用计算难以实现灵活迁移。

发明内容

针对上述问题，本申请提供了一种分布式动态调度方法、装置、电子设备及存储介质，通过状态与计算的分离，有利于使有状态的应用在调度层面实现无状态化，使计算灵活迁移。

为实现上述目的，本申请实施例第一方面提供了一种分布式动态调度方法，该方法包括：

调度节点获取数据处理请求，并将所述数据处理请求加入请求缓冲队列进行缓存；

所述调度节点执行调度操作为所述数据处理请求选择出目标处理节点，将所述数据处理请求下发给所述目标处理节点；

若所述数据处理请求是所述目标处理节点未处理的会话，则所述目标处理节点通过分布式状态缓存对所述数据处理请求的会话的配置信息和状态信息进行同步；

所述目标处理节点对所述数据处理请求进行处理，并向所述调度节点同步所述数据处理请求的处理状态。

结合第一方面，在一种示例中，所述调度节点将所述数据处理请求加入请求缓冲队列进行缓存，包括：

将所述数据处理请求加入处理等待队列；

从所述处理等待队列中取出所述数据处理请求进行下发操作，若所述数据处理请求下发成功，则将所述数据处理请求加入ACK等待队列；若下发失败，则将所述数据处理放回所述处理等待队列。

结合第一方面，在一种示例中，所述调度节点执行调度操作为所述数据处理请求选择出目标处理节点，包括：

获取候选处理节点集合；

若所述数据处理请求的会话在所述分布式状态缓存中属于第一类别会话，则进行均衡调度从所述候选处理节点集合中选择出所述目标处理节点；

若所述数据处理请求的会话在所述分布式状态缓存中属于第二类别会话，则从所述候选处理节点集合中将所述数据处理请求的会话的上一次处理节点选为所述目标处理节点；

若所述数据处理请求的会话在所述分布式状态缓存中属于第二类别会话，且所述数据处理请求的会话的上一次处理节点已失效，则进行均衡调度从所述候选处理节点集合中选择出所述目标处理节点。

结合第一方面，在一种示例中，所述调度节点获取候选处理节点集合，包括：

初始化所述候选处理节点集合为空；

对节点信息库中的所有处理节点进行遍历，将处于准备状态的处理节点加入所述候选处理节点集合。