[发明专利]基于深度伪孪生网络的图像特征点匹配方法及装置

权利要求书

1.一种基于深度伪孪生网络的图像特征点匹配方法，其特征在于，所述方法包括：

获取场景下第一视角图像中的目标特征点，以及所述场景下其他视角图像中的待匹配特征点；

建立5层深度伪孪生网络，并对所述深度伪孪生网络执行参数初始化，所述深度伪孪生网络包括左支、右支以及尺度融合层，其中，所述左支包括第一类训练数据图像、被中央裁剪的图像区域、深度伪孪生网络左支的第一卷积层、深度伪孪生网络左支的第二卷积层、深度伪孪生网络左支的第三卷积层、深度伪孪生网络左支的第四卷积层、深度伪孪生网络左支的第五卷积层；所述右支包括第二类训练数据图像、深度伪孪生网络右支的第一卷积层、深度伪孪生网络右支的第二卷积层、深度伪孪生网络右支的第三卷积层、深度伪孪生网络右支的第四卷积层、深度伪孪生网络右支的第五卷积层；所述尺度融合层被配置为输出与接受所述深度伪孪生网络左支和右支输入，所述尺度融合层的表达式为：

out＝sig((x1+x2)/2)；

其中，out为尺度融合层的输出，是一个长度为128的一维向量，x1，x2分别是深度伪孪生网络左支和右支的输出，长度为128；

筛选原始数据产生第一类训练数据，将所述第一类训练数据进行中央裁剪产生第二类训练数据；

将所述第一类训练数据和对应的第二类训练数据输入所述深度伪孪生网络中；

根据输出值与训练真值的差异，对所述深度伪孪生网络中的参数进行训练更新，得到更新后的网络参数；

将所述目标特征点的临近图像及中央裁剪图像输入更新后的深度伪孪生网络，得到所述目标特征点的特征向量；将所述待匹配特征点的临近图像及中央裁剪图像输入更新后的深度伪孪生网络，得到所述待匹配特征点的特征向量；

计算所述目标特征点的特征向量与所述待匹配特征点的特征向量的对比误差度量；

输出最小对比误差度量所对应的待匹配特征点作为所述目标特征点的最佳匹配特征点。

2.如权利要求1所述的方法，其特征在于，筛选原始训练数据产生第一类训练数据，将所述第一类训练数据进行中央裁剪产生第二类训练数据包括：

从标注了特征点对应关系的原始训练数据中选取第一类训练数据，所述原始训练数据中有一半数量的正向数据，有一半数量的反向数据，所述原始训练数据为一个三元数据，表示为：

Data＝{p1,p2,y}；

其中，Data是训练数据，p1与p2为25×25像素大小的特征点临近图像；y为匹配标签；若p1与p2是从相互匹配的特征点选取的临近图像，则y＝1，反之则y＝0，称y取值为1的Data为一个正向数据，称y取值为0的Data为一个反向数据；

对所述第一类训练数据的图像的中心区域进行裁剪；

经过上采样得到与裁剪前大小相同的图像，裁剪得到的训练数据为所述第二类训练数据。

3.如权利要求1所述的方法，其特征在于，根据输出值与训练真值的差异，对所述深度伪孪生网络中的参数进行训练更新，得到最优的网络参数包括：

设定该轮训练的学习率，表达为关于训练轮数的指数关系：ε_n＝c×fⁿ，其中，ε为学习率,c的取值范围为0.001≤c≤0.01，f的取值范围为0.9≤f≤0.5；

将第一类训练数据的p1和对应的第二类训练数据的p1输入深度伪孪生网络中，得到128维特征向量，称为F1；

将第一类训练数据的p2和对应的第二类训练数据的p2输入深度伪孪生网络中，得到128维特征向量，称为F2；

计算得到的对比误差向量和对比误差度量，E＝F1-F2，e＝||F1-F2||₁，其中E为128维的对比误差向量，e为对比误差度量，是E的1范数值；

将所述对比误差度量反向传播，得到更新后的深度伪孪生网络的网络参数值；

遍历所有的训练数据为一轮训练循环，如果匹配正确率增长小于0.1％，停止训练；如果匹配正确率增长大于或等于0.1％，重复设定该轮训练的学习率的步骤。