[发明专利]一种柔性的渲染集群动态部署系统与方法

说明书

技术领域

本发明涉及高性能计算技术，具体涉及一种柔性的渲染集群动态部署系统与方法。

背景技术

渲染集群（或称渲染农场）属于分布式集群计算系统，是一种利用现有CPU、以太网、及操作系统构建的超级计算机，它使用主流的商业计算机硬件设备达到或接近超级计算机的计算能力。渲染农场建立在计算机集群上，集群系统中的单个计算机通常称为节点，其中一个或多个作为管理节点，其它节点称为计算节点，节点间通常通过局域网连接，但也有其它的可能连接方式，如InfiniBand。集群能够改进单个计算机的计算速度和/或可靠性。一般情况下集群计算机比单个计算机，比如工作站或超级计算机性能价格比要高得多。渲染农场包括Web客户端、渲染任务管理平台、真实感渲染引擎等软件系统。用户通过Web客户端在线提交渲染任务，由渲染任务管理平台进行任务调度和管理，将渲染任务交由集群中部署于计算节点上的渲染引擎完成。

现有渲染农场一般采用静态部署的方法分配计算资源，所谓静态部署即计算节点分配给渲染任务后不能动态增减分配的节点数量，只能以整体的方式回收，这种部署方法的缺点是当渲染任务负载较小，所分配的部分计算节点会处于空闲状态，不能分配给其它任务，从而造成资源浪费，降低资源利用率。

中国专利（申请号：200910013740，专利名称：基于DEADLINE图形工作站渲染集群的弹性构建方法）中提出了一致基于DEADLINE图形工作站渲染集群的弹性构建方法，该方法支持按任务动态分配计算资源，但未考虑当有多个任务时的资源分配策略，而且动态部署是通过人工运行脚本实现，不能够自动进行动态部署。

【张雪峰.基于动态反馈的集群渲染系统的设计与实现.北京工业大学硕士学位论文.2009】虽然提出了一种基于动态反馈负载平衡调度策略，但该方法是对于静态的计算资源，通过周期性负载信息查询的方式，进行渲染帧在计算节点中的动态分配，从而达到计算资源间的负载平衡，这可以在一定程度上提高集群工作效率，但是由于渲染帧的粒度过小，在其“查询—修正—任务分配—查询”的动态调整过程中会造成计算节点的频繁通信影响计算或者负载信息不准确影响任务分配的问题。

中国专利（申请号：201210431551，专利名称：基于云计算渲染农场的构建方法）中提出了一致基于云计算渲染农场的构建方法，该专利中提到的支持渲染服务器即计算资源的动态增减，是支持在总体计算资源数量上的动态增减，并不能够根据任务的数量、任务量的大小来动态分配计算资源。

发明内容

本发明针对现有渲染农场存在的计算资源浪费、利用率低的问题，提供了一种柔性的渲染集群动态部署系统与方法，能够有效的利用计算资源，最大化资源利用率；并在不影响服务质量的情况下，提高渲染农场的系统并发用户数。

为了实现计算资源动态部署的目的，本发明采用如下技术方案：

一种柔性的渲染集群动态部署系统，包括

渲染任务管理平台，用于向集群管理节点的渲染单元控制调度器分配任务，并接受集群管理节点的渲染单元控制调度器上传的任务处理进度信息；

渲染单元控制调度器，用于向若干个渲染单元分配任务，并接受每个渲染单元反馈的任务处理进度信息；还用于处理渲染单元的计算节点请求，并在渲染任务执行过程中，按照优先级顺序动态部署渲染单元中计算节点数量；

每个所述渲染单元包括渲染单元Master进程，每个渲染单元Master进程均与若干个计算节点通信，每个计算节点对应一个渲染单元Slave进程。

一种柔性的渲染集群动态部署方法，主要包括如下步骤：

步骤（1）：启动渲染单元控制调度器；

步骤（2）：渲染单元控制调度器监听渲染任务管理平台的渲染请求，接受渲染任务并启动渲染单元进行任务调度；

步骤（3）：渲染单元Master进程接收渲染单元控制调度器分配的任务，开始渲染工作，并周期性向渲染单元控制调度器汇报进度及负载信息；渲染单元控制调度器处理渲染单元Master进程的计算节点请求，并在渲染任务执行过程中，动态调整渲染单元中计算节点数量；

步骤（4）：渲染单元Slave进程接收渲染单元Master进程推送的任务，处理任务并周期性向渲染单元Master进程汇报进度和结果；

步骤（5）：渲染任务结束或被取消后，渲染单元控制调度器回收渲染单元所占用的计算节点。

所述步骤（1）包括如下步骤：

步骤（1.1）：启动渲染单元控制调度器；

步骤（1.2）：渲染单元控制调度器初始化渲染单元元数据信息。