[发明专利]基于深度迁移学习的线特征描述方法

摘要

本发明涉及一种基于深度迁移学习的线特征描述方法，包括：采集图像并进行预处理、利用已有技术提取图像中的直线、获取正确匹配直线对、确定直线对应的图像块；构建用于线特征描述的卷积神经网络；利用点特征描述网络的参数初始化线特征描述网络的参数；利用线匹配数据集对网络参数进行调整；利用步骤S4获取的网络参数更新CL2‑Net的参数值；重复参数更新步骤，直到参数更新达到指定的次数；获取输入直线的描述子。本发明提供的方法可获得具有较好辨别能力和鲁棒性的描述子。

主权项

1.一种基于深度迁移学习的线特征描述方法，其特征在于，该方法具体包括以下步骤：步骤S1：构造线匹配数据集，具体方式包括步骤S11、S12、S13、S14；步骤S11：采集图像并进行预处理，具体方式为，采集不同场景且不同视角下的图像，然后对其做光照、模糊、噪音以及压缩等变化以形成同一场景不同变化的图像对；步骤S12：利用已有技术提取图像中的直线；步骤S13：获取正确匹配直线对，具体方式为，对于任一图像对，利用已有直线匹配技术获取图像对中的匹配直线对，然后人工剔除错误匹配，获得图像对中的正确匹配直线对集合{(L_j,L_j′),j＝1,2,...,N_L}，其中L_j表示图像对中第1幅图像中的直线，L_j′表示图像对中第2幅图像中与L_j正确匹配的直线，N_L为匹配直线对的个数；步骤S14：确定直线对应的图像块，具体方式为，对于步骤S13获得的正确匹配直线对集合中的任一由Num(L)个点组成的直线L，记L上任一像素点为P_k，k＝1,2,...,Num(L)，将以P_k为中心、64为长和宽的方形区域定义为点P_k的支撑区域，点P_k支撑区域的亮度值矩阵记为I(P_k)，计算直线L的均值矩阵M(L)＝Mean(I(P₁),I(P₂),...,I(P_Num(L)))和标准差矩阵STD(L)＝Std(I(P₁),I(P₂),...,I(P_Num(L)))，其中Mean表示计算矩阵的均值，Std表示计算矩阵的标准差，记直线L对应的64×64×2的归一化矩阵为其中A_L(:,:,1)＝M(L)，A_L(:,:,2)＝STD(L)；步骤S2：构建用于线特征描述的卷积神经网络，具体方式为，搭建L2‑Net卷积神经网络，将第一层卷积核的大小由3×3修改为3×3×2、最后一层卷积核的大小由为8×8修改为16×16，其他设置与L2‑Net相同，获得用于线特征描述的卷积神经网络，记为CL2‑Net；步骤S3：利用点特征描述网络的参数初始化线特征描述网络的参数，具体方式为，对于步骤S2获得的CL2‑Net，其前三层参数的初始值为训练好的L2‑Net的前三层参数值，其中对于第一层2通道的3×3卷积核，任一通道3×3卷积核的值均等于L2‑Net第一层3×3卷积核的值；CL2‑Net后四层的参数值使用Pytorch中默认的初始化值；步骤S4：利用线匹配数据集对网络参数进行调整，具体方式为，从步骤S1获得的线匹配数据集中随机选取n对匹配直线，将直线对应的归一化矩阵合并为其中为直线L_j对应的归一化矩阵，为直线L_j′对应的归一化矩阵，直线L_j和L_j′为匹配直线对；计算大小为n×n的距离矩阵D，其中a_i、b_i分别为作为输入时CL2‑Net输出的特征向量；计算三元组损失函数其中代表最接近a_i的非匹配描述子，j_min＝arg min_{j＝1...n,j≠i}d(a_i,b_j)，代表最接近b_i的非匹配描述子，k_min＝arg min_{k＝1...n,k≠i}d(a_k,b_i)，根据Loss函数利用随机梯度下降法获取新的网络模型参数；步骤S5：利用步骤S4获取的网络参数更新CL2‑Net的参数值；步骤S6：重复步骤S4、S5，直到参数更新达到指定的次数；步骤S7：获取输入直线的描述子，具体方式为，对于给定的任一图像，将步骤S1获取的任一直线对应的矩阵输入到步骤S6获得的卷积神经网络中，即可输出该直线的描述子。