[发明专利]一种基于双目视觉的定位器坡度测量方法

权利要求书

1.一种基于双目视觉的定位器坡度测量方法，其特征在于：包括以下步骤：

图像采集步骤：采用双目视觉相机进行图像采集，两个相机平行安装在一条直线上，同时拍摄定位器和受电弓图像；

定位管和受电弓关键点提取步骤：分别对双目视觉相机的两个相机采集到的同一时刻的图像进行关键点提取，采用深度卷积神经网络（CNN）目标定位算法对双目相机的同一时刻的图像进行关键点提取；

所述深度卷积神经网络（CNN）目标定位算法包括卷积层和抽样层，其中卷积层指通过卷积核和上层输出做点积运算，卷积运算如下公式：

,其中为当前层网络的卷积输出，为上层的神经网络输出，W为权值矩阵，B为偏置向量，W,B初始值为0-1之间的随机值，f为激活函数，一般为Sigmoid函数，函数形式如下式sigmoid=；抽样层计算是指抽样核在图像区域内滑动时，计算滑动窗口内点最大值；

直接在输入的图像的多个位置上回归处这个位置的目标边框以及目标类别；具体包括：

训练阶段步骤：收集样本，其中在每个样本中标记目标的种类和在图像中的中心位置；将图像划分为7*7的网格，把目标在全图的知识矩形框的中心转换为对应7*7的格子位置中心；设目标x为中心，w为图片宽度，那么目标在第几个格子序号index_x=x/(w/7)，x方向的偏移为x/(w/7)的余数，y方向按照上述方法进行计算；把制作好的训练样本送入神经网网格进行训练，把训练好的权值文件保存下来；

加载神经网络的权值文件和配置文件，把输入的图像送入神经网络模型中进行计算，把图像划分为7*7的网格，对于每个网格，随机取2个长宽比固定的进行标注，判断2个矩形框内的物体类别和置信度，如果满足一个阈值，则两个矩形框为定位目标，如果两个目标为同一个类别，则合并两个矩形框，并标注矩形框的位置和类别信息；

特征提取和匹配神经网络步骤：采用神经网络实现自动特征匹配，匹配网络的输入为前一步骤的CNN的输出，网络结构为5层全连接网络，其中输入为两个相机图像特征串联一起，fc1=512表示神经元数量为512个；fc5为输出层，神经元数量为2，表示匹配成功与否；网络的训练算法采用BP和随机梯度下降法；

三维坐标计算步骤：包括本质矩阵E的计算和恢复摄像机矩阵P的计算；

本质矩阵E的计算，本质矩阵E是归一化图像坐标下的基础矩阵的特殊形式，具体表现为，其中x1,x2分别为左右相机的一对匹配点坐标；采用对极几何和随机抽样一致性算法(RANSAC)计算；

恢复这相机矩阵P的计算，表示为P=K[R|t]，其中K为摄像机外参，R为两相机之间的旋转矩阵，t为两相机之间的平移矩阵，本发明假设左相机P1的旋转矩阵为单位矩阵I，t为0；同时E=t|R，根据SVD可以求出t和R；进一步求出右相机的矩阵P2；

三维坐标计算，根据如下公式：

可以计算出空间点P(x,y,z)的世界坐标，其中f,t,r为相机内外参数，通过标定和P1,P2可以求出，X、Y为左右相机在图像坐标下的配对点；

定位器坡度计算：世界坐标P1（x1，y1，z1），P2（x2，y2，z2）构成中间中一直线，弓网平面关键点P3和P4构成另一直线，两直线夹角为定位坡度，空间两直线的夹角采用向量间的余弦公式即可获得定位器坡度。

2.如权利要求1所述的一种基于双目视觉的定位器坡度测量方法，其特征在于：所述的卷积网络所构建的卷积网络模型共17层，最后两层为全连接层。

3.如权利要求1或2所述的一种基于双目视觉的定位器坡度测量方法，其特征在于：所述抽样核为3*3的滑动窗口。