[发明专利]一种基于二维图像的无监督多视角三维目标检索方法及装置

权利要求书

1.一种基于二维图像的无监督多视角三维目标检索方法，其特征在于，所述方法包括：

利用特征提取器对二维图像域和多视角三维目标域分别进行特征提取，得到二维图像和多视角三维目标的视觉特征；

根据二维图像的视觉特征及其标签信息、多视角三维目标的视觉特征，通过域对抗学习得到跨域分布对齐后的视觉特征；

根据对比学习和上述所获取到的视觉特征，得到更具有类别差异性的多视角三维目标的视觉特征；

通过迭代加权更新的用于存储代表性视图特征的记忆库，得到高质量的负样本，用于上述的对比学习；

所述通过迭代加权更新的用于存储代表性视图特征的记忆库具体为：

选取最高分类预测准确性的视图作为多视角三维目标的代表性视图，根据熵最小化原理，将的N个视图送入分类器G中，产生K路分类结果；

多视角三维目标的第j个视图的预测熵计算公式如下：

其中，表示多视角三维目标的第j个视图被分类到第k类的预测概率；K是类别总数；

代表性视图更新公式如下：

其中，μ的取值范围为[0,1]，是更新系数；mⁱ是记忆库中所存视图特征；为熵最小的视图特征；为熵最小的视图的低维视觉特征。

2.根据权利要求1所述的一种基于二维图像的无监督多视角三维目标检索方法，其特征在于，所述根据对比学习和上述所获取到的视觉特征，得到更具有类别差异性的多视角三维目标的视觉特征具体为：

选取第i个多视角三维目标的视图特征作为锚点，选取其他视图特征作为正样本，选择其他三维目标的一个视图特征作为负样本；

分别计算锚点与正样本、负样本之间的相似度，基于2个相似度计算对比损失；

结合源分类损失、域对抗损失和对比损失联合训练特征提取器、域鉴别器、分类器和非线性映射，求取自监督域适应的总损失函数。

3.根据权利要求2所述的一种基于二维图像的无监督多视角三维目标检索方法，其特征在于，所述锚点与正样本、负样本之间的相似度分别为：

锚点与正样本之间的相似度计算公式如下：

其中，1≤j,j′≤N and j≠j′，s为相似度，g(·)表示将特征向量映射到低维空间的映射函数；为目标域第i个样本的第j个视图的低维视觉特征，为目标域第i个样本的第j’个视图的低维视觉特征，d为计算余弦距离函数，τ为用于调整相似性的动态范围的线性比例因子；

锚点与负样本之间相似度计算公式如下：

其中，1≤j≤N and i≠i′，m为多视角三维目标的代表性视图特征，i′为多视角三维目标的序号。

4.一种基于二维图像的无监督多视角三维目标检索装置，其特征在于，所述装置包括：

特征提取模块，用于利用特征提取器对二维图像域和多视角三维目标域分别进行特征提取，得到二维图像和多视角三维目标的视觉特征；

域对抗学习模块，用于根据二维图像的视觉特征及其标签信息、多视角三维目标的视觉特征，通过域对抗学习得到跨域分布对齐后的视觉特征；

获取模块，用于根据对比学习和上述所获取到的视觉特征，得到更具有类别差异性的多视角三维目标的视觉特征；

更新模块，用于通过迭代加权更新的用于存储代表性视图特征的记忆库，得到高质量的负样本，用于上述的对比学习；

所述通过迭代加权更新的用于存储代表性视图特征的记忆库具体为：

选取最高分类预测准确性的视图作为多视角三维目标的代表性视图，根据熵最小化原理，将的N个视图送入分类器G中，产生K路分类结果；

多视角三维目标的第j个视图的预测熵计算公式如下：

其中，表示多视角三维目标的第j个视图被分类到第k类的预测概率；K是类别总数；

代表性视图更新公式如下：

其中，μ的取值范围为[0,1]，是更新系数；mⁱ是记忆库中所存视图特征；为熵最小的视图特征；为熵最小的视图的低维视觉特征。