[发明专利]用于自适应超采样的样本的基于深度学习的选择

权利要求书

1.一种设备，包括：

一个或多个处理元件，用于：

接收训练数据，所述训练数据包括输入贴片和所述输入贴片的对应超采样值，其中每个输入贴片包括多个像素；以及

基于所述训练数据来训练机器学习模型以标识像素的所渲染的贴片的超采样的级别。

2.根据权利要求1所述的设备，其中，所述输入贴片包括所渲染的图像的8×8像素、16×16像素或32×32像素中的至少一个。

3.根据权利要求1所述的设备，其中，所述一个或多个处理元件包括于图形处理单元GPU中。

4.根据权利要求1所述的设备，其中，所述输入贴片利用为1的超采样设置来渲染。

5.根据权利要求1所述的设备，其中，基于包括结构相似性指数测量（SSIM）的质量测量度量来确定所述输入贴片的所述超采样值。

6.根据权利要求1所述的设备，其中，基于包括峰值信噪比（PSNR）测量的质量测量度量来确定所述输入贴片的所述超采样值。

7.根据权利要求1所述的设备，其中，所述一个或多个处理元件用于使用离线过程来训练所述机器学习模型，所述离线过程与推理阶段期间的所述机器学习模型的实时使用是分离的。

8.根据权利要求1所述的设备，其中，所述训练数据还包括对应于所述输入贴片的深度值。

9.根据权利要求1所述的设备，其中，所述训练数据还包括与先前所渲染的图像对应的法线、对象ID、纹理颜色、图元ID或时间数据中的至少一个。

10.根据权利要求1所述的设备，其中，所述机器学习模型是使用卷积神经网络（CNN）来训练的。

11.根据权利要求10所述的设备，其中，所述CNN包括输入层、一个或多个卷积层、至少一个平坦层、以及一个或多个密集函数中的至少一个，并且其中，所述CNN利用自适应矩估计（ADAM）优化器和均方误差（MSE）损耗函数。

12.根据权利要求1所述的设备，其中，如由所述一个或多个处理元件训练的所述机器学习模型被应用于栅格化、光线追踪、可变速率着色（VRS）、粗糙像素着色（CPS）、混合渲染、虚拟现实（VR）或增强现实（AR）中的至少一个的像素的所渲染的贴片。

13.根据权利要求1所述的设备，其中，平滑函数被应用于具有超过所确定的阈值的超采样级别之间的差异的像素的所渲染的贴片，所述超采样级别由经训练的机器学习模型提供。

14.一种方法，包括：

在不应用超采样的情况下渲染贴片，所述贴片包括多个像素；

将所渲染的贴片作为输入提供给经训练的机器学习模型；

从所述经训练的机器学习模型接收所述所渲染的贴片的超采样值；以及

使用从所述经训练的机器学习模型接收到的超采样值来重新渲染具有超采样的贴片。

15.根据权利要求14所述的方法，其中，以二的幂格式提供所述超采样值。

16.根据权利要求14所述的方法，其中，基于包括训练输入贴片和所述训练输入贴片的对应超采样级别的训练数据来训练所述经训练的机器学习模型，并且其中，针对所述训练输入贴片中的每个基于所述训练输入贴片的质量测量度量超过在所述对应超采样级别的质量测量度量阈值来确定所述对应超采样级别。

17.根据权利要求14所述的方法，其中，所述渲染由图形处理单元（GPU）执行。