[发明专利]一种基于无人机搭载三轴云台相机的目标检测定位方法

说明书

本发明是一种基于无人机搭载三轴云台相机的目标检测定位方法。本发明以无人机为平台结合三轴云台通过对视觉传感器采集得到的图像经过增强去噪、分割提取以后来捕获目标；并构建简单的定位数学几何模型，对现有图像数据结合相机参数进行分析与转化，为得到目标的实际位置坐标，云台相机时刻将目标锁定在视野中央，跟随目标移动，结合激光测距传感器得到的与目标之间的距离，及时准确地计算当前目标与无人机的相对位置；通过坐标转换计算出被监测目标的具体位置。本发明在低成本、低信息量的情况下可以有效改善目标检测与定位系统中运算手段复杂、成本高昂、鲁棒性及准确性较差的问题，为救援工作提供准确快速的定位系统。

技术领域

本发明涉及目标检测领域，具体是一种一种基于无人机搭载三轴云台相机结合TinyML进行目标实时检测与定位的方法。

背景技术

摄像头作为一种很重要的视觉监测设备，可以在固定的区域远距离为人类获取当地的有用信息。随着监控设备数量的增加，视频监控已经逐渐成为维护社会治安和法治的重要工具，也成为智慧城市中协调物流交通、检测安全隐患的重要支撑。但是在一些场合下固定摄像头会被遮挡，留下监控死角，目标可以轻松走出监控区域，还存有很多安全隐患。但大面积密集部署固定监控系统需要极高的成本，也会造成通信网络的压力。无人机具有高空的开阔视角，三轴云台相机具有很高的空间自由度，可以作为追踪和监视系统的重要组成部分，结合RTK定位技术通过空间几何关系，可以很好的对目标进行实时定位。

基于无人机追踪已经有了一些算法和模型。一方面，目前的实现方式复杂，另一方面，运算时占用了过多资源。如何充分利用有限信息及相机参数信息，快速、准确地检测运动目标并且不会受外界地理位置影响实时得到被测目标的位置信息，利用无人机搭载云台，结合TinyML进行目标的实时检测提取与定位便是解决这一问题的重要方法。

发明内容

针对现有技术存在的问题，本发明公开一种基于无人机搭载三轴云台相机的目标检测定位方法，在低成本、低信息量的情况下建立快速准确的火源目标检测与定位系统。

为了解决所述技术问题，本发明采用的技术方案是：一种基于无人机搭载三轴云台相机的目标检测定位方法，包括以下步骤：

S01)、将三轴云台固定在无人机底部，传感器固定在三轴云台下方杆臂处，传感器视觉传感器与激光测距传感器；

S02)、进行三轴云台相机与无人机姿态的标定，姿态通过各自携带的IMU传感器进行姿态解算；

S03)、将TinyML部署至机载应用平台，然后通过视觉传感器实时捕捉视频信息，将视频流数据输入部署好的TinyML检测模型进行检测，发现视野中出现目标后，获取目标在图像中所处的位置，当目标被系统捕捉到时，识别后将目标圈在矩形框内，提取矩形框对角坐标，通过中点坐标公式计算得出矩形框中心坐标，与视野中心进行偏移量计算，得到偏移量坐标(Δx，Δy)，通过(Δx，Δy)矫正无人机进行移动，使得目标始终位于中心点，此时激光测距仪开启工作，通过读取激光测距仪数据，得到无人机与目标的距离L；

S04)、通过步骤S02)、S03)得到无人机与目标的距离L以及相对角度，已相机为原点建立坐标系，通过以下计算得到P点相对于O点的位置坐标，P点为目标所在位置，O点为相机位置：

Z′＝L*cosβ，

X′＝L*sinβ*sinα，

Y′＝L*sinβ*cosγ，其中L表示无人机与目标的距离，α、β、γ分别表示P点相对O点X轴、Z轴、Y轴的夹角；

S05)、获取无人机定位，即O点位置坐标，通过机载RTK卫星导航定位接收机获取机身在导航坐标系中的经度、纬度以及高度，通过坐标转换矩阵即可计算出目标在导航坐标系中的真实坐标点，即目标的经度、纬度以及高度。

进一步的，云台相机与无人机姿态的标定过程为：