[发明专利]基于分布式系统的任务执行方法及系统

说明书

本发明公开了一种基于分布式系统的任务执行方法，所述分布式系统包括管理端和多个执行端；所述管理端将接收到的任务发送给选定的第一执行端，其中，所述任务包括多个可顺序执行的任务模块，并至少有一个是对可切片的任务模块进行封装后的封装模块；在所述第一执行端执行该任务时，还包括以下步骤拆封所述封装模块，并将切分请求及拆封后的任务模块原信息发送给所述管理端；所述管理端根据任务模块原信息和可用的第二执行端数量，将所述任务模块切分成多个切片任务，并将所述多个切片任务分别发送给第一执行端和多个第二执行端；所述第一执行端和多个第二执行端执行相应的切片任务。本发明流程清晰，缩短了任务的执行时间，充分利用了现有资源。

技术领域

本发明涉及广播电视播出系统技术领域，具体涉及一种基于分布式系统的任务执行方法和系统。

背景技术

广播电视台的设备系统目前大部分为分布式计算机系统，其通常以执行相应的任务来完成某一项工作。工作要求的内容不同，任务不同，其占用的资源也不同。例如素材的迁移任务主要占用磁盘I/O和网络的 I/O，转码和文件技审任务主要占用CPU、内存、磁盘I/O、网络I/O资源。当系统中的某一个用于执行任务的计算机(以下称为执行端)在执行一项任务时，如果该任务耗时很长，则其长时间处于工作状态，而其它的执行端却处于闲置状态。这就产生了两个问题：

其一，该任务由单一机器来执行，执行时间过长，不能满足时限要求。例如技审任务。当有紧急播出某个视频的需要时，要求对该视频文件能够快速完成技审。技审的目的是检查内容是否适合播放，例如内容是否完整，画面是否清晰，是否有技术上的如马塞克、“黑场”(全屏幕黑色)、“彩场”(全屏幕彩色)，“彩条”(彩色条状)、静帧(几帧画面完全一致)、雪花场(雪花屏幕)、静音等问题。目前的处理方式通常是将其作为任务发送给一个执行端，由其来完成技审。而在紧急状态下，希望能够在最短时间内完成技审，但是这种单机执行的方式无法满足要求。

其二，没有充分利用资源，间接地造成资源浪费。由于任务的长短不一，则在任务分配时会导致多台执行端处于空闲状态，而有一台执行端处于长时间工作状态，因而不能充分利用现有资源。

发明内容

为解决现有技术的不足，本发明提供一种基于分布式系统的任务执行方法和系统，充分利用分布式系统资源，提高工作效率。

根据本发明的一个方面，本发明提供了一种基于分布式系统的任务执行方法，所述分布式系统包括管理端和多个执行端；所述管理端将接收到的任务发送给选定的第一执行端，其中，所述任务包括多个可顺序执行的任务模块，并至少有一个是对可切片的任务模块进行封装后的封装模块；在所述第一执行端执行该任务时，还包括以下步骤：

拆封所述封装模块，并将切分请求及拆封后的任务模块原信息发送给所述管理端；

所述管理端根据任务模块原信息和可用的第二执行端数量，将所述任务模块切分成多个切片任务，并将所述多个切片任务分别发送给第一执行端和多个第二执行端；

所述第一执行端和多个第二执行端执行相应的切片任务。

优选地，在所述基于分布式系统的任务执行方法中，在所述管理端接收到所述任务之前，还包括任务的生成步骤；在生成任务时，将可切片的任务模块原信息设为所述封装模块的一个参数。

优选地，在所述基于分布式系统的任务执行方法中，还包括以下步骤：

所述多个第二执行端向所述管理端报告切片任务执行进程；

所述第一执行端通过查询所述管理端获得各切片任务执行结果，并合并各个切片任务的执行结果。

优选地，在所述基于分布式系统的任务执行方法中，所述第一执行端接收到所述任务后，对该任务进行拆分；顺序执行拆分出来的任务模块。