[发明专利]一种基于复杂背景图像的三维模型跨域检索方法及系统

说明书

本发明公开了一种基于复杂背景图像的三维模型跨域检索方法及系统，包括，构建适于三元组网络输入的数据集，并将三维模型用多视图进行表示，统一图像数据尺寸。设计跨域检索三元组深度网络，利用图像精确特征提取网络和三维模型分组视图特征提取网络完成对输入数据的有效特征提取，并构建特征联合嵌入空间，将不同域的特征映射到同一高维空间中，并且同类别数据特征距离较小，不同类别数据特征距离较大。最终采用欧氏距离在特征联合嵌入空间中度量图像与三维模型的相似性，完成跨域检索。本发明能够根据输入的单幅具有复杂背景信息的RGB图像，检索得到对应的三维模型。

技术领域

本发明涉及计算机图形学和计算机视觉领域，特别是涉及一种基于复杂背景图像的三维模型跨域检索方法及系统。

背景技术

信息时代的到来为计算机硬件的发展提供了强大的助力，各种媒体数据如音频、视频、图像、三维数据等呈井喷式增长。如今，三维模型被广泛应用于计算机图形学和计算机视觉等领域，如3D打印、计算机辅助设计、影视动画、医学诊断等。为了与众多应用涉及的庞大且不断增长的三维数据相适应，设计快速有效的三维模型检索方法成为了目前的热点问题。

目前的检索工作大多属于基于实例的三维模型检索，这种方法需要提供一个待查询的三维模型，通过将三维模型用体素、点云、网格或者多视图的方法进行表示，提取特征描述符，并与三维模型库中的模型特征描述符进行相似度比较返回相似的三维模型。基于实例的三维模型检索属于同域检索问题，由于三维模型包含更多的特征信息，因此其准确率要更高一些。但是在现实生活中，用于查询的三维模型往往并不容易获取，相比之下，二维图像的获取在实际应用中较为方便，因此，基于单个二维图像检索三维模型具有重要的研究意义和使用价值。

基于二维图像检索三维模型属于跨域检索问题，其输入可以是RGB图像、手绘草图和RGB-D图像，输出为与图像对应的三维模型。目前的相关研究可以分为传统的基于手工特征的模型检索方法和基于深度学习特征的模型检索方法。基于手工特征方法的思想是分别对图像和三维模型通过手工设计的方式获取其底层描述符，再通过计算距离等方式进行相似性度量。如基于特征袋模型的方法(Bronstein A M，Bronstein M M，Guibas L J，etal.Shape google：Geometric words and expressions for invariant shape retrieval[J].ACM Transactions on Graphics，2011，30(1)：1-20.)，基于Gabor局部线性特征的方法(Eitzmathias，Richterronald，Boubekeurtamy，et al.Sketch-based shape retrieval[J].ACM Transactions on Graphics，2012.)。但是这类方法在特征提取阶段较为困难，不适用于大规模数据集的情况。