[发明专利]从2D图像进行3D建模对象的识别的方法、介质与系统

说明书

该发明特别涉及一种用于从二维图像识别三维建模对象的计算机实现的方法。该方法包括：提供从三维建模对象渲染的二维图像的第一集合，第一集合中的每个二维图像被关联到标签；提供非从三维对象渲染的二维图像的第二集合，第二集合中的每个二维图像被关联到标签；在第一和第二集合两者上训练模型；提供相似度度量；提交描绘至少一个对象的二维图像；以及通过使用训练模型和相似度度量检索与提交的所述二维图像的至少一个对象相似的三维对象。

技术领域

本发明涉及计算机程序和系统领域，并且更具体地涉及用于从表示对象的图像或照片中检索3D对象的数据库中的三维(3D)对象的方法、系统和程序。

背景技术

现有的三维(3D)对象检索方法可被归类为：(i)直接在3D内容上操作的方法，以及(ii)提取“2.5D”或2D内容(立体对、图像的多个视图、人工渲染的3D对象、轮廓等)的方法。

现在集中于基于2D图像的“2D到3D”检索框架作为用于执行检索的输入，包括边界分析的一些基于形状的方法已经适于从(一个或多个)2D图像检索3D对象。

例如，T.Napoleon在EURASIP Journal on Image and Video Processing，2010中的“From 2D Silhouettes to 3D Object Retrieval：Contributions and Benchmarking”用多个轮廓图像进行3D对象搜索。查询不仅包括2D轮廓，还包括手绘草图。值得注意的是，本文档介绍包括以用于搜索效率的粗略到精细的方式使用动态程序的轮廓(silhouette)/外形(contour)对准的想法。然而，该方法的重要缺点是性能对由自动迂回造成的外形的质量敏感，这仍然是巨大的挑战。

作为从2D图像进行3D检索的另一个示例，Aono等人在SignalInformationProcessing Association Annual Summit and Conference(APSIPA ASC)，2012中的“3DShape Retrieval from a 2D Image as Query”使用复合特征向量作为用于从单个2D图像进行3D对象检索的Zernike矩和HOG特征的组合。HOG特征是从阴影深度缓冲图像计算的，而Zernike矩是从轮廓图像计算的。这些特征可能不足以区分具有相同整体形状的相似对象。此外，它们经常在部分遮挡的对象的情况下失败。

“2D到3D”匹配的其它方法利用用于有效的对象检测和/或精细姿势估计的3D模型。为此，它们依赖于它们从大量的视点渲染的3D示范模型的集合。渲染的图像然后用于学习部分模板以定位给定图像中的对象并估计其精细姿势。这样的方法的主要缺点是它们需要繁重的注释和计算。因而不可扩展。为了学习有意义的模型，它们需要将每个可用的CAD模型关联到包含相同的CAD模型并且用对象姿势注释的一组图像。

用2D图像查询3D对象的数据库还用于在Q.Huang等人在CVPR 2015中的“Single-View Reconstruction via Joint Analysis of Image and Shape Collections”中的Web图像中描绘的对象的自动3D重建。该方法从单个视图重建对象。关键思想是与现有3D模型的较小集合一起联合地分析不同对象的图像集合。在自然图像和渲染的图像之间建立密集像素级别对应。这些对应用于联合地分割图像和3D模型。计算的分割和对应然后用于构造新模型。然而，这样的方法对分割的质量敏感，并且因此会在具有复杂背景和部分遮挡的对象的图像的情况下失败。

因此，这些方法经受几个缺点。首先，它们可能需要对作为输入提供的图像的约束；例如图像的分割、图像的自动迂回。另外，它们不总是允许检索部分遮挡的对象。此外，这些方法的可扩展性可能受到限制，因为它们依赖于快速达到其学习能力限制的学习机。此外，用于检索对象的签名的辨别力不总是允许相关的3D对象；例如这些方法不能由自己确定什么造成3D模型中的两个对象之间的差异。

在该上下文中，仍然存在对用于从二维图像识别三维建模对象的改进方法的必要。