[发明专利]基于融合IMU的光电吊舱图像跟踪方法及跟踪系统

权利要求书

1.基于融合IMU的光电吊舱图像跟踪方法，其特征在于，包括如下步骤：

S1系统启动：光电吊舱系统启动；

S2前端采集：采用FPGA进行前端图像数据采集，并进行图像预处理；

S3初始化：IMU初始化，进行归零；

S4图像数据传输：在FPGA采集完数据之后，通过SRIO口将数据从FPGA传输到DSP中进行目标检测，锁定目标；

S5图像跟踪：DSP采用NCC跟踪算法进行图像跟踪，得到视觉跟踪信息的结果；

S6相关信息的计算：将视觉跟踪信息结果或者目标所在的位置信息传输至DSP，根据相机的视场角、焦距、以及视觉跟踪信息的结果计算出脱靶量信息，并将脱靶信息传输给伺服系统；

S7伺服响应：DSP将脱靶量信息传输给伺服系统后，计算得到相机的偏转角，在IMU里计算出角速度，伺服系统给伺服电机指令，旋转到对应指定的位置，根据目标位置预估计方法从而对目标的下一帧位置进行预测；

S8找到目标位置：根据预测的中心位置对目标区域进行放大，进行图像匹配，找到目标所在的位置。

2.根据权利要求1所述的光电吊舱图像跟踪方法，其特征在于，所述步骤S8包括：采用相关性归一化算法进行图像匹配，并将相关性归一化算法的阈值设定为0.75，若相关性系数大于0.75，表示跟踪到真实目标，即找到目标所在的位置；

若相关性系数小于或等于0.75，则进入步骤S5图像跟踪，依次循环，直至找到目标所在的位置。

3.根据权利要求1所述的光电吊舱图像跟踪方法，其特征在于，所述步骤S5图像跟踪采用的是相关系数相关性的NCC跟踪算法，在第一帧通过目标检测确定目标后，提取模板，在第二帧及后面的跟踪帧都是在模板基础上进行相关性系数计算。

4.根据权利要求1所述的光电吊舱图像跟踪方法，其特征在于，所述步骤S4中目标检测所使用的方法为：首先在计算机上训练分类器，再将训练好的模块移植到DSP平台。

5.根据权利要求3所述的光电吊舱图像跟踪方法，其特征在于，NCC跟踪算法的包括以下几个步骤：

a图像的模板提取：采用目标检测算法的结果作为目标模板的初始位置；

b计算模板图像和目标图像的积分图：计算图像直方图采用积分图的方式来简便计算，使得计算量大大减小；

积分图计算方法：

上式中，I(x,y)表示模板图像与积分图像，SAT(x,y)为积分结果图；

c计算模板图像和目标图像的相关性参数：根据相关性归一化算法(NCC)的公式来进行计算，最后对系数进行归一化处理，最终的结果处于0-1；

d根据阈值得到匹配或者不匹配的结果：将相关性归一化算法的阈值设定为0.75，相关性系数大于0.75表示跟踪到真实目标，否则则需要重新进行匹配；

e输出结果：将计算的结果进行输出，如果跟踪准确，则将结果进行输出，如未找到目标，需要放大搜索区域，重新进行计算，得到最终的结果；

f进行模板跟新，使得跟踪更加稳定：在目标运动的过程中，进行模板跟新，保持模板的准确性。

6.根据权利要求1所述的光电吊舱图像跟踪方法，其特征在于，步骤S6中，脱靶量信息解算过程为：

图像在焦平面上成像，Δx和Δy分别为目标中心在水平和垂直方向相对于图像中心的位移，其中Δθ表示水平方向旋转角度，ΔΨ表示垂直方向旋转角度，w表示图像宽度，h表示图像高度，θ为初试水平角度，Ψ为初始垂直方向角度；成立下式：

求解式(1)得到式(2)：

由上面的两个公式可以得出图像跟踪的脱靶量信息。

7.根据权利要求1所述的光电吊舱图像跟踪方法，其特征在于，所述步骤S7中，目标位置预估计方法为：首先在图像跟踪算法实时性的基础上，相邻两帧图像之间会得到一个变化的角度，伺服系统能根据瞬时的角度信息，根据不同的帧率，用角度比上每帧图像所用的平均时间，得到目标转动的角速度，再根据角速度乘上对应的时间，就可以得到下一帧目标出现的位置信息。

8.一种基于IMU光电吊舱跟踪系统，其特征在于，所述跟踪系统采用权利要求1-7任意一项所述的光电吊舱图像跟踪方法。