[发明专利]基于神经网络压缩绘制信息的云渲染方法和装置

权利要求书

1.一种基于神经网络压缩绘制信息的三维场景云渲染方法，其特征在于，包括以下步骤：

云端利用基于神经网络构建的提取模型对第一输入数据进行信息提取，得到绘制信息并传输至客户端；其中，第一输入数据包括当前帧的渲染图、三维场景几何信息、三维场景运动信息、三维场景光照信息、历史帧的渲染图；

客户端利用基于神经网络构建的重建模型对第二输入数据进行重建得到重建图，其中，第二输入数据包括绘制信息、三维场景几何信息、三维场景运动信息、三维场景光照信息以及历史帧的重建图。

2.根据权利要求1所述的基于神经网络压缩绘制信息的云渲染方法，其特征在于，云端利用渲染引擎通过渲染流水线对三维场景数据进行渲染得到当前帧的渲染图、历史帧的渲染图、三维场景几何信息、三维场景运动信息；

客户端通过渲染流水线对三维场景数据进行处理得到三维场景几何信息、三维场景运动信息。

3.根据权利要求1或2所述的基于神经网络压缩绘制信息的云渲染方法，其特征在于，所述三维场景几何信息从对三维场景数据的渲染流水线中得到，包括位置贴图、深度贴图、法线贴图、材质贴图；

所述三维场景运动信息从对三维场景数据的渲染流水线中得到，包括相邻两帧间的三维场景运动信息，或当前帧与各历史帧之间的三维场景运动信息；

所述三维场景光照信息包括光源参数，其中，光源参数包括光源类型、光源形状、光源位置、光照方向、光照强度、环境光贴图中的至少一种；

所述三维场景光照信息还包括对光源参数经过编码处理的编码向量。

4.根据权利要求1所述的基于神经网络压缩绘制信息的云渲染方法，其特征在于，云端将绘制信息进行量化处理，量化后的绘制信息经过熵编码后输出至客户端。

5.根据权利要求1所述的基于神经网络压缩绘制信息的云渲染方法，其特征在于，所述提取模型和所述重建模型在应用之前需要进行参数优化，在参数优化时，以三维场景数据对应的重建图和渲染流水线使用三维场景数据渲染得到的高质量渲染图之间的差值最小，并结合绘制信息的传输带宽尽可能最小为优化目标，来优化提取模型参数和重建模型参数。

6.根据权利要求5所述的基于神经网络压缩绘制信息的云渲染方法，其特征在于，在优化图像预测模型参数时，优化目标对应的损失函数Loss为：

其中，i为图像索引，loss_i为第i个样本数据对应的预测结果与标签之间的差值，B表示传输这一系列k张图像残差需要的平均/峰值带宽，λ为权重参数，为大于0的实数，值越大，表示传输图像残差需要的带宽越小。

7.一种基于神经网络压缩绘制信息的云渲染装置，其特征在于，包括云端和与其实现数据传输的客户端；

所述云端部署有基于神经网络构建的提取模型，用于对第一输入数据进行信息提取，得到绘制信息并传输至客户端，其中，第一输入数据包括当前帧的渲染图、三维场景几何信息、三维场景运动信息、三维场景光照信息和历史帧的渲染图；

所述客户端部署有基于神经网络构建的重建模型，用于对第二输入数据进行重建得到重建图，其中，第二输入数据包括绘制信息、三维场景几何信息、三维场景运动信息、三维场景光照信息以及历史帧的重建图。

8.如权利要求7所述的基于神经网络压缩绘制信息的云渲染装置，其特征在于，所述云端用于通过渲染流水线对三维场景数据进行渲染得到当前帧的渲染图、历史帧的渲染图、三维场景几何信息、三维场景运动信息；

所述客户端用于通过渲染流水线对三维场景数据进行处理得到三维场景几何信息、三维场景运动信息。