[发明专利]用于3D模型变形的方法和装置

说明书

技术领域

本发明涉及一种用于三维模型变形的方法。

背景技术

当前，基于现实动态场景或者甚至由廉价摄影机拍摄的图像的模型的变形可以是一个难题。三维，在本文的其余部分中将被简称作3D，模型艺术家可能例如要花费大量时间和努力来创建具有高度细节并且逼真的3D内容和3D动画。但是这种情况在下一代通信系统中不合期望并且甚至是行不通的，因为可能必须要即时创建例如会议参与者的3D可视化。

发明内容

因此，本发明的实施例的一个目的是给出一种用于图像模型变形的方法和装置，其能够基于来自甚至较低质量的现实生活图片采集的二维，后文中简称作2D，视频场景来生成高质量3D图像模型，并且与此同时提供一种廉价、简单并且自动化的解决方案。

根据本发明的实施例，这一目的是通过一种基于2D图像数据输入对标准3D模型进行变形的方法而实现的，所述方法包括以下步骤：

-利用检测模型和变形模型对所述标准3D模型执行初始变形，从而获得经过变形的标准3D模型；

-确定2D图像数据输入与经过变形的标准3D模型之间的光流；

-将所述光流应用于所述经过变形的标准3D模型，从而提供经过微调变形的3D标准模型。

这样就通过光流变形增强了传统的基于检测的变形。这样做得到了仍然可以被实时实现的真实感高得多的模型。

在一个实施例中，2D图像数据输入与经过变形的标准3D模型之间的光流是基于在先前的2D图像帧上确定的先前的经过微调变形的3D标准模型而确定的。

在一种变体中，2D图像数据输入与经过变形的标准3D模型之间的光流的确定可以包括：

-确定该经过变形的标准3D模型的2D投影与该先前的经过微调的3D标准模型的2D投影之间的第一光流；

-确定实际的2D帧与该先前的经过微调变形的3D标准模型的2D投影之间的第二光流；

-组合所述第一和第二光流以获得该实际的2D帧与该经过变形的标准3D模型的2D投影之间的第三光流；

-基于在所述经过变形的标准3D模型的2D投影期间所获得的深度信息对所述第三光流进行适配，以获得该2D图像数据输入与该经过变形的标准3D模型之间的光流。

这样就允许一种高质并且仍然时间高效的方法。

在另一个实施例中，基于该2D图像数据输入与该经过变形的标准3D模型之间的光流对用于所述初始变形步骤中的变形模型进行适配。这样将进一步提高所得到的模型的质量，以及其与该输入视频对象的对应性。

在另一个实施例中，还基于在该2D图像帧与先前的2D图像帧之间所确定的光流信息对用于所述初始变形步骤中的该检测模型进行适配。

这同样加强了对应于该输入2D图像的该3D标准模型的更加快速并且更加真实的成形/变形。

在另一种变体中，应用该光流的步骤包括能量最小化过程。

这样可以甚至进一步增强所得到的经过微调变形的模型的质量。

本发明还涉及一种用于执行所述方法的装置的实施例，涉及合并这样的装置用于图像或视频处理的设备的实施例，以及涉及一种包括当在数据处理装置上执行时，适于执行前面所提到或者所要求保护的方法步骤的软件的计算机程序产品。

应注意的是，在权利要求中所使用的术语“耦合”不应当被解释成仅限于直接连接。因此，“设备A耦合到设备B”这一表达方式的范围不应当被限制于其中设备A的输出直接连接到设备B的输入的设备或系统。所述表达方式意味着在A的输出与B的输入之间存在着路径，其可以是包括其他设备或装置的路径。

应注意的是，在权利要求中所使用的术语“包括”不应当被解释成限于随后所列出的装置。因此，“设备包括装置A和B”这一表达方式的范围不应当被限制于仅由组件A和B构成的设备。所述表达方式意味着关于本发明，所述设备的相关组件仅为A和B。

如前所述，在全文中二维将被简称作2D，并且三维则将被简称作3D。

附图说明

通过参照后面结合附图对实施例所进行的描述，本发明的前述和其他目的和特征将会变得更加显而易见，并且本发明本身将会得到最好的理解，其中：

图1示出了所述方法的第一高级实施例；

图2和3示出了图1中所示出的实施例的一些模块的更加详细的实施例；

图4示出了所述方法的另一个实施例的高级示意图；

图5和6示出了图4中所示出的实施例的一些模块的进一步的细节；

图7-8示出了两个更加详细的实施例；