[发明专利]基于超网络的三维场景云渲染方法和系统

权利要求书

1.一种基于超网络的三维场景云渲染方法，其特征在于，包括以下步骤：

利用云端渲染流水线对场景数据进行渲染，得到第一三维场景几何信息、第一三维场景渲染图、以及第一三维场景运动信息；

在云端依据第一三维场景运动信息分析变化大的关注像素点，包括：分析渲染帧之间的第一三维场景运动信息，如果像素点在相邻两渲染帧中颜色变化超过阈值，则认为该像素点变化大，为关注像素点；

在云端从第一三维场景几何信息和第一三维场景渲染图中提取与关注像素点相关的数据输入基于超网络构建的着色器参数更新模型，将第一三维场景光照信息同时输入基于超网络构建的着色器参数更新模型，经计算输出与关注像素点对应的着色器参数，并将着色器参数传输至本地端；

其中，基于超网络构建的着色器参数更新模型的构建过程包括：

以第一三维场景几何信息、第一三维场景渲染图以及第一三维场景光照信息作为基于神经网络构建的超网络的输入，经计算输出所有像素的着色器参数；基于所有像素的着色器参数构建着色器，利用着色器对第二三维场景几何信息和第二三维场景光照信息进行着色计算，以得到预测渲染结果；以预测渲染结果与真实渲染结果之差构建损失函数，并以该损失函数优化超网络参数，参数优化结束后，得到着色器参数更新模型；

利用本地端渲染流水线对场景数据进行渲染，得到第二三维场景几何信息、第二三维场景运动信息；

在本地端依据接收的着色器参数构建着色器，并根据第二三维场景运动信息维护历史着色器；

将第二三维场景几何信息和第二三维场景光照信息输入至着色器，经过计算得到最终渲染结果。

2.根据权利要求1所述的基于超网络的三维场景云渲染方法，其特征在于，所述依据第一三维场景运动信息分析变化大的关注像素点，包括：

分析渲染帧之间的第一三维场景运动信息，如果在当前渲染帧中，某个像素点无法在历史渲染帧中找到对应的像素点，则认为该像素点变化大，为关注像素点。

3.根据权利要求1所述的基于超网络的三维场景云渲染方法，其特征在于，所述着色器为函数的隐式表达或神经网络。

4.根据权利要求1所述的基于超网络的三维场景云渲染方法，其特征在于，所述三维场景云渲染方法还包括：

每隔一段时间，在云端利用着色器参数更新模型为当前渲染帧所有像素重新预测着色器参数；在云端根据着色器参数构建着色器，利用着色器进行着色得到渲染结果；若该渲染结果与历史着色器维护的渲染结果相差大于像素阈值，则将该像素的着色器参数下传到本地端。

5.根据权利要求1所述的基于超网络的三维场景云渲染方法，其特征在于，在本地端利用着色器进行着色渲染时，不同渲染帧之间，利用第二三维场景运动信息来复用着色器，即将不同渲染帧之间通过第二三维场景运动信息相联系的两个像素点采用同一着色器着色渲染。

6.根据权利要求1所述的基于超网络的三维场景云渲染方法，其特征在于，所述第一三维场景几何信息和第二三维场景几何信息包括位置贴图、深度贴图、法线贴图、材质贴图；

所述第一三维场景运动信息和所述第二三维场景运动信息包括相邻两帧间的三维场景运动信息，或当前帧与各历史帧之间的三维场景运动信息；

所述第一三维场景光照信息和所述第二三维场景光照信息包括光源参数、光源参数经过神经网络编码处理的编码向量，其中，光源参数包括光源类型、光源形状、光源位置、光照方向、光照强度、环境光贴图中的至少一种。

7.一种基于超网络的三维场景云渲染系统，其特征在于，包括云端和本地端；

所述云端用于利用云端渲染流水线对场景数据进行渲染，得到第一三维场景几何信息、第一三维场景渲染图、以及第一三维场景运动信息；还用于依据第一三维场景运动信息分析变化大的关注像素点，包括分析渲染帧之间的第一三维场景运动信息，如果像素点在相邻两渲染帧中颜色变化超过阈值，则认为该像素点变化大，为关注像素点；还用于从第一三维场景几何信息和第一三维场景渲染图中提取与关注像素点相关的数据输入基于超网络构建的着色器参数更新模型，将第一三维场景光照信息同时输入基于超网络构建的着色器参数更新模型，经计算输出与关注像素点对应的着色器参数，并将着色器参数传输至本地端；

其中，基于超网络构建的着色器参数更新模型的构建过程包括：

以第一三维场景几何信息、第一三维场景渲染图以及第一三维场景光照信息作为基于神经网络构建的超网络的输入，经计算输出所有像素的着色器参数；基于所有像素的着色器参数构建着色器，利用着色器对第二三维场景几何信息和第二三维场景光照信息进行着色计算，以得到预测渲染结果；以预测渲染结果与真实渲染结果之差构建损失函数，并以该损失函数优化超网络参数，参数优化结束后，得到着色器参数更新模型；

所述本地端利用本地端渲染流水线对场景数据进行渲染，得到第二三维场景几何信息、第二三维场景运动信息；还用于依据接收的着色器参数构建着色器，并根据第二三维场景运动信息维护历史着色器；还用于将第二三维场景几何信息和第二三维场景光照信息输入至着色器，经过计算得到最终渲染结果。