[发明专利]基于计算机视觉的无人机铁路轨道线路识别方法有效
申请号: | 201910625187.7 | 申请日: | 2019-07-11 |
公开(公告)号: | CN110516532B | 公开(公告)日: | 2022-03-11 |
发明(设计)人: | 李晓峰;郭玉新;贾利民;秦勇 | 申请(专利权)人: | 北京交通大学 |
主分类号: | G06V10/25 | 分类号: | G06V10/25;G06V20/10;G06N3/063;G06T7/11;G06T7/136;G06T7/187;G06T7/70;G06T7/90;G06F17/16 |
代理公司: | 北京市商泰律师事务所 11255 | 代理人: | 邹芳德 |
地址: | 100044 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 计算机 视觉 无人机 铁路 轨道 线路 识别 方法 | ||
1.一种基于计算机视觉的无人机铁路轨道线路识别方法,其特征在于,包括如下流程步骤:
步骤S110:利用无人机机载摄像头获取铁路轨道视频图像,并进行预处理;
步骤S120:利用脉冲耦合神经网络的方法识别所述视频图像中的轨道线路;
步骤S130:利用三阶贝兹曲线拟合的方法得到所述轨道线路所在的直线段或曲线段;
步骤S140:根据所述轨道线路所在的直线段或曲线段计算得到无人机飞行的局部目标点;
所述步骤S130中,所述的三阶贝兹曲线拟合方法为:将拟合点按纵坐标排序,确定起始点和终止点,然后计算贝兹曲线的控制点坐标,得到拟合结果;
三阶贝兹曲线的定义如式(3)所示,式中P0为起始点,P1和P2为控制点,P3为终止点,参数t正比于每两点间的欧式距离之和,Q(t)为曲线上的一点,T(t)为关于参数t的向量,M是权值矩阵,P是由起始点、终止点和控制点的矩阵;
将得到的轮廓点按纵坐标排序,其中,纵坐标最小的点作为起始点,纵坐标最大的点作为终止点,将定义转换为式(4)计算得到控制点;
P=(T(t)M)+Q(t) (4)
然后将乘法计算转换为大量加法计算,代入参数值求得拟合结果;
所述步骤S130中,利用与上一帧识别结果之间的距离,和识别结果自身左右之间的距离,判断结果的正确性;
计算识别结果与上一次识别结果之间的距离,基于无人机的偏移判断识别结果是否在一定的移动范围内,若距离大于50像素,则判断识别结果为轨道两侧轨道轮廓类似物的干扰;
计算本次识别结果左右两条直线或曲线之间的距离,判断是否大于20像素,若大于该阈值则确认识别结果为一组铁路轨道,否则判断识别结果都在其中一侧钢轨上;
所述步骤S140具体包括:
当拟合结果为曲线时,利用最小二乘法延长所述拟合结果;利用消失点校正相机的姿态角;利用逆透视变换还原图像的正确比例;利用标准轨距对应的正确比例求得目标点距离,利用偏航角关系求得目标点角度;
利用消失点校正相机的姿态角,
式中,pitch为相机俯仰角,yaw为相机偏航角,height为图像高度,width为图像宽度,vp.x为消失点横坐标,vp.y为消失点纵坐标,dx为像素在u轴方向的尺寸,dy为像素在v轴方向的尺寸,计算可得真实的相机姿态角;
利用逆透视变换还原图像中物体的正确比例:逆透视变换过程将相机平面旋转至与铁路轨道平面平行,首先需要将图像由像素坐标系转换到相机坐标系,再乘以旋转矩阵,然后再转换到像素坐标系;其中,旋转矩阵为:
式中,
s2=sin(-yaw) c2=cos(-yaw),
s3=sin(-roll) c3=cos(-roll);
利用标准轨距对应比例求得目标点距离:利用偏航角等关系求得目标点角度;局部目标点取拟合结果左侧线段在鸟瞰图上纵坐标为0的点;已知标准轨距为1435mm,根据对应比例关系求得目标点距离,拟合结果为直线情况下的比例关系为scale=1435/(ru-lu),其中ru为右侧直线横坐标,lu为左侧直线横坐标,拟合结果为曲线情况下的比例关系为scale=1435/|Rl-Rr|,其中Rl为左侧曲线在鸟瞰图中的半径,Rr为右侧曲线在鸟瞰图中的半径;
在鸟瞰图中,目标点与相机位置之间的角度为目标点偏离图像平面中心线的角度θ,目标点角度为:desθ=θ-yaw。
2.根据权利要求1所述的基于计算机视觉的无人机铁路轨道线路识别方法,其特征在于,所述步骤S110中所述预处理包括:利用白平衡消除环境光的影响;根据前一帧的识别结果提取感兴趣区域;将感兴趣区域转换为单通道亮度图像。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京交通大学,未经北京交通大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910625187.7/1.html,转载请声明来源钻瓜专利网。