[发明专利]新颖的姿态合成

权利要求书

1.一种在计算系统上制定的用于合成对象的新颖姿态的方法，所述方法包括：

接收与原始视点相对应的对象的参考图像；

将所述对象的所述参考图像转换为所述对象的参考深度图；

合成与新视点相对应的所述对象的新深度图；以及

基于所述对象的所述新深度图和所述对象的所述参考图像，从所述新视点生成所述对象的新图像。

2.根据权利要求1所述的方法，其中将所述对象的所述参考图像转换为所述对象的所述参考深度图包括：

将所述对象的所述参考图像输入到域转移模块中；以及

从所述域转移模块接收所述对象的所述参考深度图。

3.根据权利要求2所述的方法，还包括从所述域转移模块接收前景蒙版，所述前景蒙版标识与所述对象相关联的像素。

4.根据权利要求1所述的方法，其中合成与所述新视点相对应的所述对象的所述新深度图包括：

将所述对象的所述参考深度图输入到深度图生成器中；

从所述深度图生成器接收所述对象的所述新深度图；以及

使用3D深度细化模块来细化所述对象的所述新深度图。

5.根据权利要求1所述的方法，其中生成所述对象的所述新图像包括：

将所述对象的所述参考图像映射到外观参数；

将所述对象的所述新深度图映射到形状参数；以及

组合所述形状参数和所述外观参数，以从所述新视点生成所述对象的所述新图像。

6.根据权利要求1所述的方法，其中生成所述对象的所述新图像包括：

将所述对象的所述参考图像和所述对象的所述新深度图输入到身份恢复模型中；以及

从所述身份恢复模型接收所述对象的所述新图像。

7.根据权利要求6所述的方法，还包括通过以下操作来训练所述身份恢复模型：

使用第一结构编码器将所述参考图像映射到参考形状参数；

使用第二结构编码器将所述新深度图映射到新形状参数；

使用第一外观编码器将所述参考图像映射到参考外观参数；

使用第二外观编码器将所述新深度图映射到新外观参数；以及

将所述参考形状参数和所述新形状参数中的每一个与所述参考外观参数和所述新外观参数之一组合以生成图像。

8.根据权利要求7所述的方法，还包括使用所述对象的所述参考图像、所述参考深度图和所述新深度图来直接监督所述训练。

9.一种计算设备，包括：

处理器；以及

存储设备，存储由所述处理器可执行的指令，以：

接收与原始视点相对应的对象的参考图像；

将所述对象的所述参考图像转换为所述对象的参考深度图；

合成与新视点相对应的所述对象的新深度图；以及

基于所述对象的所述新深度图和所述对象的所述参考图像，从所述新视点生成所述对象的新图像。

10.根据权利要求9所述的计算设备，其中所述指令进一步可执行以通过以下操作来将所述对象的所述参考图像转换为所述对象的所述参考深度图：

将所述对象的所述参考图像输入到域转移模块中；以及

从所述域转移模块接收所述对象的所述参考深度图。

11.根据权利要求10所述的计算设备，其中所述指令进一步可执行以从所述域转移模块接收前景蒙版，所述前景蒙版标识与所述对象相关联的像素。

12.根据权利要求9所述的计算设备，其中所述指令进一步可执行以通过以下操作生成所述对象的所述新图像：

将所述对象的所述参考图像映射到外观参数；

将所述对象的所述新深度图映射到形状参数；以及

组合所述形状参数和所述外观参数，以从所述新视点生成所述对象的所述新图像。