[发明专利]基于融合IMU的光电吊舱图像跟踪方法及跟踪系统

说明书

本发明提供了一种基于融合IMU的光电吊舱图像跟踪方法，包括如下步骤：S1系统启动；S2前端采集；S3初始化；S4图像数据传输；S5图像跟踪；S6相关信息的计算；S7伺服响应；S8找到目标位置。本发明还提供一种图像跟踪系统。本发明基于IMU光电吊舱跟踪系统可通过IMU求得目标姿态、速度，根据目标速度、姿态、时间以及目标在上帧的位置，预测得到目标搜索区域，不会发生丢失目标的情况，计算量更小，从而加快目标检测，实现目标跟踪。该系统能够有效实现目标跟踪，有小型、快速、可靠性高、精度高等特点，是一种能同时满足高精度要求和战略安全需要的目标跟踪技术。

技术领域

本发明涉及图像跟踪领域，特别地，涉及一种基于融合IMU的光电吊舱图像跟踪方法及系统。

背景技术

光电吊舱在目标检测、跟踪等方面发挥着重要的作用，可广泛用于陆地、海上、空中和空间的侦察。现阶段，所有工业园区都安装了大量摄像头，但是其只能拍摄指定区域并且不能完成目标的跟踪。除此之外，受到外界环境的影响极大，由于夜晚光线不足，视频影像极不清晰。这些原因的存在，导致了园区的安全受到威胁。将光电吊舱安装在工业园区，能够有效实现目标的实时监测与跟踪，并且在光电吊舱中安装红外相机，可有力克服夜晚光线不足的问题。所以研发一种可快速定位且高精度的光电吊舱有着重要的现实意义。

发明人检索到相关方案有如下：

专利1：与本发明最接近的方案—《一种基于视频图像的高压线检测及跟踪方法》，专利申请号：201610919282.4。该专利涉及一种基于视频图像的高压线检测及跟踪方法，根据光电吊舱系统采集到的视频信息，采用了线形目标检测算法，捕获实现整帧图像中线形目标检出，然后启动跟踪，采用线性目标跟踪算法，按照序列帧跟踪历史信息确认之前锁定的线性目标在当前帧图像中的位置，并输出其俯仰方向与视频中心点位置的偏差量，最终通过伺服系统逆向调整相机俯仰角，使得电线中心居于视频图像中心附近。完成了对高压线等线性目标的识别和跟踪。该专利提高了无人机电力巡检工作效率。图1示出了该专利高压线检测、跟踪方法流程图。

专利2：《基于机载光电吊舱位置和姿态的目标定位系统》，专利申请号：201510938847.9。该专利公开了一种基于机载光电吊舱位置和姿态的目标定位系统，该系统设置在机载光电吊舱内部；该测量系统具有：获得所在机载光电吊舱俯仰角θ和横滚角γ信息的动态倾角获取模块；获得所在机载光电吊舱经度B_c、纬度L_c、高度H_c和偏航角φ信息的定位模块；处理模块根据机载光电吊舱的经纬高以及地面参考点的经度B_m、纬度L_m和高度H_m，最终转化成东北天坐标系(X_wk,Y_wk,Z_wk)；处理模块根据机载光电吊舱获取的目标图像，获取图像中目标的像素坐标(u,v)；结合吊舱的相机的焦距f、吊舱与相机轴中心成像在海面上的距离Y_c以及地面参考点的大地直角坐标系(X_ck,Y_ck,Z_ck)生成的平移矩阵T₁，将目标的像素坐标最终得到目标的实际经纬度和高程，完成目标的测量。

专利3：《一种用于光电吊舱的无源定位算法》，专利申请号：201611135739.9。该专利提出一种用于光电吊舱的无源定位算法，吊舱通过手动搜索或图像跟踪的方式，将目标锁定在光轴线中心，此时将吊舱通过IMU(惯性测量单元)、GPS(全球定位系统)和方位俯仰两框架测角器获取的对目标的观测信息，包括自身GPS坐标，吊舱航向俯仰横滚姿态和框架方位俯仰角度。至少获取两组观测信息，通过误差修正、坐标转换和三角变换获取目标精确位置。测试结果显示，该专利精度高、适应性强、稳定性好。

上述三个专利文件存在如下缺陷：

专利1：采用的针对于线性目标的跟踪算法，对于其他形状的跟踪目标没有应用普遍性；对于简单背景检测效率高，但对于复杂背景检测效果比较差；没有预测功能，容易造成跟踪目标的丢失。