[发明专利]基于草图检索三维模型的跨模态检索方法

权利要求书

1.基于草图检索三维模型的跨模态检索方法，其特征在于，该方法为基于联合特征映射的端到端三维模型草图检索方法，输入来自不同域的草图和三维模型构建共享数据空间，在共享数据空间内完成联合特征映射构建共享联合特征分布，以缩小域间差异性，提高检索准确率，再根据完成的联合特征分布来进行相似评价检索；包括以下步骤：

S1、共享数据空间构建

数据集选用标准的SHREC2013、SHREC2014数据集，每个数据集包括三维模型数据子集和草图数据子集，分别针对两个数据集划分训练数据集和测试数据集；

S2、数据预处理

针对训练集和测试集的数据，将其中三维模型处理成满足网络输入尺寸的多视图形式，草图大小与其相同；

S3、特征提取网络构建

采用网络模型AlexNet提取输入草图和视图的公共语义特征，共包含9层，第一层为输入层，第二至八层为隐藏层，第九层为输出层，各层结构如下：

第一层，输入层：将通过数据增广获得的增广视图作为训练样本输入到网络；

第二层，隐藏层：包含一个卷积层、一个激活函数层、一个池化层和一个局部相应归一化层；

第三层，隐藏层：包含一个卷积层和一个激活函数层；

第四层，隐藏层：包含一个卷积层和一个激活函数层；

第五层，隐藏层：包含一个卷积层和一个激活函数层、一个池化层和一个DropOut层；

第七层，隐藏层：包含一个全连接层、一个激活函数层和一个DropOut层；

第八层，隐藏层：包含一个全连接层、一个激活函数层；

第九层，输出层：一个全连接层；

该网络根据输入的二维图像逐层抽象高层语义属性；

针对草图-三维模型检索，需有效地度量输入样本和库内模型之间的相似性即距离，利用深度度量学习的方法完成特征嵌入；

S4、构建联合特征分布

引入深度度量学习形成三维模型和草图之间的联合特征映射，在放松域间同类数据绝对距离约束的同时，确保类内数据和类间数据的相对距离，以更加符合跨模态数据检索的特性；

在构建联合特征分布时，对于特征提取网络采取共享权值的方法进行特征提取，使得不同分布的数据的特征映射在同一个高维空间之中，为使二者有着同类相近，异类相远的特点，选择了三元组Triplet度量学习方法以建立跨域数据的联合特征分布；

基于以上分析，设正样本对距离和负样本对距离分别为d^p＝||f(s,ω)-f(v^p,ω)||²和dⁿ＝||f(s,ω)-f(vⁿ,ω)||²，为使正样本对相对距离近，负样本对相对距离远，即dⁿ＞d^p，有dⁿ-d^p＞α，α＞0；则损失函数定义如下：

式中，s为查询库，v^p为库内同类视图样本，vⁿ为异类视图样本，N为一个批次中样本总数α为正负样本间相对距离，f为网络学习到的映射函数；

基于Triplet的度量学习方法在学习过程完成了同类数据间不同域数据与相同域数据的联合特征映射，形成了跨域数据依据类别呈簇状分布的稳定状态，对于以特征间距离为标准的检索起到良好的支撑作用；

S5、相似排序检索

对于同类模型，因其在高维空间中分布趋近，令输入草图为query，所以只需度量query在检索库中映射位置所属即可，分别用平均欧式距离、最小欧式距离、平均推土机距离和最小推土机距离四种度量方式，完成草图-三维模型的有效检索。

2.根据权利要求1所述的基于草图检索三维模型的跨模态检索方法，其特征在于：在步骤S1中，选用数据集为SHREC2013和SHREC2014，SHREC2013包含90个类，7200个草图，1258个三维模型；SHREC2014包含171个类，13680个草图和8978个三维模型。

3.根据权利要求1所述的基于草图检索三维模型的跨模态检索方法，其特征在于：在步骤S2中，选择了多视图卷积神经网络MVCNN所提出的视图渲染方法，采用二维投影即视图的形式来表征三维模型，至此，三维模型转换为一组二维视图的集合，建立了草图和三维模型之间的共享数据空间。

4.根据权利要求1所述的基于草图检索三维模型的跨模态检索方法，其特征在于：在步骤S5中，对于同类模型，因其在高维空间中分布趋近，所以只需度量输入query在检索库中映射位置所属即可，在联合特征分布中，得到了跨域数据的联合特征分布空间F；对于草图s_i∈S有其特征x＝f(s_i,ω),x∈F，对于三维模型m_k∈M，用l个视图v^j来表示模型m_k，其视图特征y＝{y^j＝f(v^j,ω),y∈F,v^j∈m_k,1≤j≤l}，其中F为联合特征分布空间，ω为学习的权重，M为模型数据空间。