[发明专利]基于草图检索三维模型的跨模态检索方法

说明书

本发明公开了一种基于草图检索三维模型的跨模态检索方法，该方法为基于联合特征映射的端到端三维模型草图检索方法，输入来自不同域的草图和三维模型构建共享数据空间，在共享数据空间内完成联合特征映射构建共享联合特征分布，以缩小域间差异性，提高检索准确率，再根据完成的联合特征分布来进行相似评价检索。本发明方法检索性能突出，可有效完成跨模态检索，有着更好的准确度，操作简单，实用性强。

技术领域

本发明涉及计算机图形学、计算机视觉与智能识别的技术领域，尤其是指一种基于草图检索三维模型的跨模态检索方法。

背景技术

近年来,随着计算机辅助设计、三维扫描和三维打印技术的普及,三维模型的数量急剧增加、形式复杂多样,检索需求也愈加急迫.由于实例方法表达准确,基于实例的匹配及检索难度较低,相关研究得到了广泛关注,产生了一系列工作.然而,这类方法要求用户预先拥有被检索三维模型,这往往是不现实的.草图对三维模型有一定表征能力,且具有描述便捷、普适亲民的特点,于是基于草图的三维模型检索成为了新的研究方向.

基于草图的三维模型检索具有以下几个突出特点:1、易用性.草图易于构建,不受专业和年龄限制,可以非常容易的通过简单的线条表达设计思想；2、域间差异性.如图1所示,左侧一列和右侧三列分别给出了隶属同一类别的三维模型及草图.显然,三维模型和草图来源于不同的数据域,前者表征准确、信息丰富,后者表征简洁、信息抽象,因此彼此之间具有巨大的域间差异性；3、草图域内多样性.受主观意识和环境等因素的影响,同类草图之间具有显著的域内多样性；4、三维模型复杂性.三维模型数据具有非结构化特性,表征复杂.因此,基于草图的三维模型检索应用潜力巨大但仍然相当困难.现有方法主要通过以跨域检索显式地构建共享数据空间,将三维模型转换为和草图较为相似的线条图,以减小域间差异性.另一类方式提取各域数据的特征并通过深度学习等方法建立跨域数据的共享空间,以减小域间差异.本发明认为,以上两种方式都只在局部范围内考虑了草图和三维模型跨域数据之间的差异性,并不能充分利用深度学习机制自动构建“保留类别属性且减小域间差异性的特征”,一定程度影响检索效果.

部分工作将三维模型转换为视图,然后将视图转换为线条图,再分别提取草图和线条图的特征,最终进行相似评价以完成检索.如基于弥散张量成像的方法[Yoon S M,Scherer M,Schreck T,et al.Sketch-based 3D model retrieval using diffusiontensor fields of suggestive contours[C]//Proceedings of the internationalconference on Multimedia-MM2010:193],基于词袋模型的方法[Eitz M,Richter R,Boubekeur T,et al.Sketch-based shape retrieval[J].ACM Transactions onGraphics,2012,31(4):1-10.],基于高斯混合模型费舍编码的方法[Mao D,Yin H,Li H,etal.3D model retrieval based on hand-drawn sketches[J].Journal of systemsimulation,2015(10):2607-2614.].也有工作用传统方式对草图和三维模型的多视图分别提取描述符,并构建流型空间实现跨模态嵌入[Furuya T,Ohbuchi R.Ranking oncross-domain manifold for sketch-based 3D model retrieval[C]//Proceedings ofCyberworlds(CW),2013International Conference on.IEEE,2013:274-281.].该方法在草图-三维模型检索领域做出了有益的尝试,取得了一定的效果.然而,由于草图-三维模型检索的域间差异性、草图域内多样性、三维模型复杂性,这些特性相互交织,使得人工方式提取出一种合适的特征非常困难.因而这些方法的检索准确率普遍较低.