[发明专利]一种面向实时视频处理的负载感知云计算系统

说明书

本发明提出了一种面向实时视频处理的负载感知云计算系统，包括：Storm集群，提供基础设施服务；视频流产生器，用于视频流的产生，接受和发送；流服务器，缓存视频数据并提供统一的消息接口，降低组件之间的耦合；负载检查器，其绑定负载感知算法以感知任务的计算负载，通过对任务所在节点的CPU、GPU和内存使用情况的分析，通知Storm集群应该选择处理器类型；参数控制器，用于集群的性能的分析和评估；视频处理器，其分别提供基于CPU和GPU处理的接口；协议供应者，提供各种协议，通过协议供应者，所述参数控制器与Storm集群进行交互，实现不同协议下的消息交换，同时解除模块间的耦合。

技术领域

本发明涉及云计算大数据、视频处理领域，具体涉及一种面向实时视频处理的负载感知云计算系统。

背景技术

随着互联网、移动设备、智能家居、智能交通等商业模式和研究方向的蓬勃发展，海量实时数据需要得到有效利用，而其中因实时性高，数据量大等特点，视频数据显得尤为重要。International Data Corporation最新报告“The Digital Universe in 2020”指出，2012年全球大数据的一半都是视频数据，到2015年该比例将达到65％。

相对于CPU而言，采用GPU处理视频能大大提高计算速度。然而目前的GPU处理平台不足之处在于，基于GPU的任务虽然消耗更少的CPU，但是却会占用大量的内存。特别是在内存不足的情况下，此瓶颈会大大限制处理效率。

因此，如何高效地利用海量数据并充分挖掘其间的信息成了本领域亟待解决的问题。

发明内容

为解决云环境下实时视频流之间智能信息挖掘所带来的资源消耗大，数据量大的问题，本发明在基于云计算和大数据平台的基础上提出了一种面向实时视频处理的负载感知云计算系统，能最大化利用云节点资源，提高计算速度。

本发明的技术方案是这样实现的：

一种面向实时视频处理的负载感知云计算系统，包括：

Storm集群，提供基础设施服务；

视频流产生器，用于视频流的产生，接受和发送；

流服务器，缓存视频数据并提供统一的消息接口，降低组件之间的耦合；

负载检查器，其绑定负载感知算法以感知任务的计算负载，通过对任务所在节点的CPU、GPU和内存使用情况的分析，通知Storm集群应该选择处理器类型；

参数控制器，用于集群的性能的分析和评估；

视频处理器，其分别提供基于CPU和GPU处理的接口；

协议供应者，提供各种协议，通过协议供应者，所述参数控制器与Storm集群进行交互，实现不同协议下的消息交换，同时解除模块间的耦合。

可选地，所述协议供应者提供AOP，RMI，HTTP协议。

可选地，所述负载动态感知算法首先在拓扑作业提交之前统计云环境中每一个计算节点的计算资源；当此拓扑提交后，获取拓扑每一个worker的资源请求，将此请求与每一个云节点的可用资源比较，当某云节点的可用资源大于该worker的请求时，将该worker规划到此节点；然后，通过比较该worker对CPU和GPU资源的不同请求，分别计算出在使用CPU和使用GPU的情况下该worker能被容纳个数，选择出能容纳最多个数的处理器。

本发明的有益效果是：

(1)构建了一种面向海量实时视频处理的高效云计算系统，实现了对海量实时视频的智能处理；

(2)提出了一种CPU与GPU相结合的负载动态感知算法，实现了云节点计算资源的最大化利用。

附图说明