[发明专利]主从结构分布式视频处理系统及其调度方法

说明书

技术领域

本发明涉及视频处理领域，特别涉及一种视频分布式处理资源调度技术。

背景技术

现有的智能视频分析很少使用分布式计算，究其原因，主要是因为相关项目的应用场景规模较小，不需要使用大规模分布式计算的方案。然而，随着视频监控、公共安全等行业的兴起，世界各地平安城市和重大活动安保工作的开展，大规模智能视频监控的应用已经越来越广泛，分布式计算或云计算与安防行业的结合必将是大势所趋。

目前的分布式智能视频分析方案主要分为前端分析和后端分析两种。目前采用前端分析的方案有一个缺点，前端设备一般是智能摄像机、数字视频服务器、数字硬盘录像机或者其他特殊化的设备，往往只能处理某一类的智能视频分析问题，导致所处理的业务类型单一和系统的通用性较弱。采用后端分析的方法往往是部署一个PC机或服务器的集群，从前端设备取流、解码后再做智能视频分析，该方法相比前端分析的方法而言，软件或算法升级简单，业务通用性较强。在视频监控领域，许多厂商推出了后端智能视频分析设备或方案，例如各种智能视频分析仪和视频智能信息检索服务器。问题在于，这些设备在处理数据的类型及其数据的处理类型上较为单一。例如上述智能视频分析仪往往只能处理前端实时采集的数据，而对录像文件的检索只能由检索服务器来完成。本发明的发明人发现，这样的系统具有如下缺点：1）子系统类型较多，导致整体系统复杂度更高；2）子系统通用性不强；3）整体系统高可用性较低，例如，假设一个系统由上述分析仪和检索服务器组成，若系统中的分析仪异常而检索服务器正常工作，则系统丧失了处理实时数据的能力。

本发明的发明人还发现，中国专利号为201699880U的实用新型专利所公布的一种分布式智能视频搜索系统中，其技术方案要求特殊的前端设备，如果要检索的视频信息变化，势必要求前端设备作一定的修改，通用性不强。其次，没有考虑节省计算资源的方法，例如，该专利所描述的智能前端的处理能力可能远远大于某一智能视频分析任务，在处理此类任务时，智能前端的处理能力没有得到最大化利用，造成资源浪费。该专利并没有解决此类问题。

综上所述，现有技术虽然能够解决分布式智能视频分析领域的部分问题，却还有较大可完善和提高的空间。

发明内容

本发明的目的在于提供一种主从结构分布式视频处理系统及其调度方法，实现处理资源的高效利用，减少系统资源的浪费损耗。

为解决上述技术问题，本发明的实施方式公开了一种主从结构分布式视频处理系统的调度方法，分布式视频处理系统包括用于分布式处理的至少两个处理资源，该处理资源在分布式视频处理系统的处理节点上采用分析算法进行任务处理，包括以下步骤：

根据作业的预定优先级对分布式视频处理系统中的作业队列中作业进行调度；

对于批处理作业，则分配分布式视频处理系统中当前未被占用的最大处理能力值的处理资源；

对于流处理作业，则占用分布式视频处理系统中当前剩余处理能力值大于该作业的任务复杂度且剩余处理能力值最小的处理资源。

本发明的实施方式还公开了一种主从结构分布式视频处理系统的调度系统，分布式视频处理系统包括用于分布式处理的至少两个处理资源，该处理资源在分布式视频处理系统的处理节点上采用分析算法进行任务处理，调度系统包括：

调度器，用于根据作业的预定优先级及作业类型对分布式视频处理系统中的作业队列中的作业进行调度；

第一资源分配单元，用于对于批处理作业，分配分布式视频处理系统中当前未被占用的最大处理能力值的处理资源；

第二资源分配单元，用于对于流处理作业，占用分布式视频处理系统中当前剩余处理能力值大于该作业的任务复杂度且剩余处理能力值最小的处理资源。

本发明实施方式与现有技术相比，主要区别及其效果在于：

在主从结构分布式视频处理系统的任务复杂度和处理能力评估或归一化方法基础之上，将批处理作业与流处理作业统一在分布式视频处理系统中调度处理，以及所处理数据的类型多样化，不仅降低了系统的复杂度，而且提高了系统中处理资源的通用性，以及系统的高可用性。

进一步地，对分布式视频处理系统中的处理资源的处理能力和作业队列中流处理作业的复杂度进行归一化，归一化可以降低了系统开发的难度，便于统一两种不同类型的数据处理，从而可以根据归一化之后的处理资源的处理能力和流处理作业的复杂度，实现作业调度处理，从而进一步实现视频分析处理资源的高效利用，减少系统资源的浪费损耗。