[发明专利]新颖的姿态合成

说明书

公开了涉及用于合成对象的新颖姿态的计算设备和方法的示例。一个示例提供了一种方法，该方法包括接收与原始视点相对应的对象的参考图像。所述对象的所述参考图像被转换为所述对象的深度图，并且与所述对象的新深度图被合成以对应于新视点。基于所述对象的所述新深度图和所述对象的所述参考图像，从所述新的视点生成所述对象的新图像。

背景技术

从不同角度观察的对象可以跨越图像空间中的流形(manifold)。表征这些流形在计算机视觉领域可能很有用，包括3D场景理解和视图不变对象识别。然而，这些流形可能很难学习。

发明内容

公开了涉及用于合成对象的新颖的姿态的计算设备和方法的示例。一个示例提供了一种方法，包括接收对应于原始视点的对象的参考图像。将对象的参考图像转换为对象的深度图，合成新的对象深度图，以对应新视点。基于对象的新深度图和对象的参考图像，从新视点生成对象的新图像。

提供本发明内容以简化形式介绍在以下具体实施方式中进一步描述的概念的选择。本发明内容不旨在确定要求保护的主题的关键特征或必要特征，也不旨在用于限制要求保护的主题的范围。此外，要求保护的主题不限于解决在本公开的任意部分中指出的任意或所有缺点的实现。

附图说明

图1示出了形状相同但外观不同的两个对象及其在图像空间中作为视角函数的轨迹的示例。

图2示意性地图示了计算机实现的域转移视图合成(DRAW)架构的示例。

图3示出了域转移模型的一个示例。

图4示出了包括用于域和视图的各种组合的编码器-解码器架构的身份恢复模型的一个示例。

图5示出了来自域转移模型的示例输入和输出。

图6示出了与地面实况图像相比的旋转深度图的示例图像。

图7示出了具有和不具有3D细化的深度旋转器的L₁和SSIM分数的示例比较。

图8示出了简单图像到图像转换模型(HAL)的示例和弱身份恢复模块(WIR)的示例。

图9示出了对象的源图像(参考图像)、目标深度图(新深度图)和对象的预测(新图像)与对象的地面实况图像相比较的两个示例。

图10示出了由DRAW输出的合成图像与从其他模型输出的图像的定性比较。

图11示出了表格图像上DRAW的视图合成结果。

图12示出了对来自ShapeNet的椅子的视图合成结果的比较。

图13A、13B和13C图示了描绘用于合成对象的新姿态的示例方法的流程图。

图14示出了示例计算系统的框图。

具体实施方式

如上所述，从不同角度观察的对象可以跨越图像空间中的流形。表征这些流形在计算机视觉领域可能很有用，包括3D场景理解和视图不变对象识别。