[发明专利]从2D图像进行3D建模对象的识别的方法、介质与系统

权利要求书

1.一种用于从二维图像识别三维建模对象的计算机实现的方法，包括：

提供从三维建模对象渲染的二维图像的第一集合，所述第一集合中的每个二维图像被关联到标签；

提供非从三维对象渲染的二维图像的第二集合，所述第二集合中的每个二维图像被关联到标签；

在第一集合和第二集合两者上训练神经网络模型；

通过针对所述第一集合中的每个二维图像提取特征向量来建立所述第一集合的二维图像的索引，其中，特征向量是使用所训练的模型提取的；

提供相似度度量；

提交描绘至少一个对象的二维图像；

通过使用所训练的模型提取所提交的二维图像的特征向量；

通过使用所述相似度度量，将所提交的二维图像的所提取的特征向量与所索引的特征向量进行比较；

确定与所提取的特征向量匹配最接近的索引的特征向量；识别链接到所述最接近的索引的特征向量的一个或多个三维建模对象；以及

提取与所述二维图像的所述至少一个对象相似的三维对象。

2.根据权利要求1所述的计算机实现的方法，其中，所述第一集合中的每个二维图像是从三维对象上的视点计算的，所述视点是在所述三维对象上的多个视点之中选择的。

3.根据权利要求2所述的计算机实现的方法，其中，所述三维对象上的多个视点是从Thomson球获得的。

4.根据权利要求1-3中任一个所述的计算机实现的方法，其中，提取的特征向量包括将所训练的模型的参数连续应用到二维图像。

5.根据权利要求1所述的计算机实现的方法，其中，用于比较的相似度度量是确定性的。

6.根据权利要求5所述的计算机实现的方法，其中，用于所述比较的相似度度量是利用学习过程学得的。

7.根据权利要求6所述的计算机实现的方法，其中，所述学习过程包括：

在第一集合和第二集合两者上训练相似度模型，所述第一集合中的每个二维图像与所述第二集合中的二维图像配对，并且与所述第一集合和所述第二集合的二维图像相关联的标签至少包括相似度信息标签。

8.根据权利要求6或7中的一个所述的计算机实现的方法，其中，所述特征向量的提取和所述相似度度量的学习过程是通过使用Siamese网络来同时实施的。

9.根据权利要求1所述的计算机实现的方法，其中，所训练的神经网络模型是利用深度神经网络获得的。

10.一种计算机可读存储介质，其上记录有指令以执行权利要求1-9之一的方法。

11.一种包括耦合到存储器的处理电路的系统，所述存储器具有记录于其上的指令，在由所述处理电路执行时，所述指令使所述处理电路执行权利要求1-9之一的方法。