[发明专利]基于神经网络压缩绘制信息的云渲染方法和装置

说明书

本发明公开了一种基于神经网络压缩绘制信息的云渲染方法和装置，包括：云端利用基于神经网络构建的提取模型对第一输入数据进行信息提取，得到绘制信息并传输至客户端；其中，第一输入数据包括当前帧的渲染图、三维场景几何信息、三维场景运动信息、三维场景光照信息和历史帧的渲染图；客户端利用基于神经网络构建的重建模型对第二输入数据进行重建得到重建图，其中，第二输入数据包括绘制信息、三维场景几何信息、三维场景运动信息、三维场景光照信息以及历史帧的重建图。该方法和装置通过传输绘制信息的方式，在保持客户端上低延迟、高帧率的同时，获得实时高质量渲染图。

技术领域

本发明属于实时渲染领域，具体涉及一种基于神经网络压缩绘制信息的云渲染方法和装置。

背景技术

随着移动设备的普及及其计算能力的提高，在移动设备上实时渲染真实感图像的需求也逐步提高。但与此同时，不断发展的图形渲染技术也对设备的计算能力提出越来越高的要求。移动设备的计算性能增长并没有跟上人们对更高品质画面的追求。在现有的硬件与图形渲染技术下，从业人员不得不在画面质量、画面分辨率与延迟上做平衡。对手机游戏等产品来说，保证较低的延迟和稳定的帧率是首先需要保证的，因此很多产品在移动设备上不得不牺牲画质与分辨率来保证玩家较为流畅的游戏体验。

为了让移动设备的用户能够有更好的体验，有人想到把云上强大的计算能力利用起来。如专利文献CN1856819A公开了一种过分布式应用程序的图形数据的网络传输的系统和方法，在强计算能力的服务器上完成绘制操作后把绘制结果压缩传输到移动设备，该方法解决了移动设备实时渲染中低画质、低分辨率的问题，但如何获得低延迟、高帧率的画面这一问题该专利并没有解决。

专利文献CN101971625A公开的用于压缩流动互动式视频的系统和方法，针对低延迟的重要性的问题提出了一种基于传统视频编码改进出来的流式传输(视频串流)方式，但是该方式要求使用大量的网络带宽来实现高帧率、高分辨率的画面的实时传输，实际应用三维场景无法提供大量的网络宽带，因此并不适用。

发明内容

鉴于上述，本发明的目的是提供一种基于神经网络压缩绘制信息的云渲染方法和装置，通过传输绘制信息的方式，在保持客户端上低延迟、高帧率的同时，获得实时高质量渲染图。

为实现上述发明目的，实施例提供了一种基于神经网络压缩绘制信息的云渲染方法，包括以下步骤：

云端利用基于神经网络构建的提取模型对第一输入数据进行信息提取，得到绘制信息并传输至客户端；其中，第一输入数据包括当前帧的渲染图、三维场景几何信息、三维场景运动信息、三维场景光照信息和历史帧的渲染图；

客户端利用基于神经网络构建的重建模型对第二输入数据进行重建得到重建图，其中，第二输入数据包括绘制信息、三维场景几何信息、三维场景运动信息、三维场景光照信息以及历史帧的重建图。

在一个实施例中，云端利用渲染引擎通过渲染流水线对三维场景数据进行渲染得到当前帧的渲染图、历史帧的渲染图、三维场景几何信息、三维场景运动信息；客户端通过渲染流水线对三维场景数据进行处理得到三维场景几何信息、三维场景运动信息。

在一个实施例中，所述三维场景几何信息从对三维场景数据的渲染流水线中得到，包括位置贴图、深度贴图、法线贴图、材质贴图；所述三维场景运动信息从对三维场景数据的渲染流水线中得到，包括相邻两帧间的三维场景运动信息，或当前帧与各历史帧之间的三维场景运动信息；所述光照信息包括光源参数，其中，光源参数包括光源类型、光源形状、光源位置、光照方向、光照强度、环境光贴图中的至少一种；所述光照信息还包括光源参数经过编码处理的编码向量。在一个实施例中，云端将绘制信息进行量化处理，量化后的绘制信息经过熵编码后输出至客户端。