[发明专利]一种基于无人机平台的智能识别方法、设备及系统

说明书

本发明公开了一种基于无人机平台的智能识别方法、设备及系统，所述方法包括：设定目标识别类型；目标检测：根据目标类型的设定，对解码后的视频流的当前帧图片中的目标进行识别，根据上一帧图片的预测信息给出的目标位置，融合惯性测量单元的测量数据，在当前帧图片的对应位置找出目标，并求当前帧图片中的目标和上一帧图片中的目标的图像相似度；当图像相似度小于等于设置值时，从当前帧图片截取出目标图片，并将目标图片加入目标队列，跳转执行目标识别；当图像相似度大于设置值时，则根据当前目标位置信息刷新当前帧图片的预测信息。本发明可以实现不丢失画面中出现的目标，同时降低因对反复出现的目标进行识别而造成识别跟不上的问题。

技术领域

本发明涉及无人机应用领域，尤其涉及一种基于无人机平台的智能识别方法、设备及系统。

背景技术

传统的民用无人机限于无人机的荷载能力、数据处理能力以及数据流处理方式，仅具有航拍功能，如果需要进行复杂目标检测、目标跟踪功能，如人脸识别、车牌识别、人群密度检测、车流量检测等功能，需要将图像传输到地面端或者后台服务器进行，实时性差。

发明内容

有鉴于现有技术的上述缺陷，本发明的目的是提供一种基于无人机平台的智能识别方法、设备及系统，可以在无人机上实时进行视频处理，进行复杂的目标检测，从而在实时获取的视频流中即可获得目标识别结果，而无需将视频传输到地面端或者后台服务器再进行处理。

为实现上述目的，本发明提供了一种基于无人机平台的智能识别方法，包括以下步骤：

设定目标识别类型；

目标检测：

接收视频流，并进行解码；接收无人机的惯性测量单元的测量数据；根据识别目标的设定，对解码后的视频流的当前帧图片中的目标进行识别，根据上一帧图片的预测信息给出的目标位置，融合惯性测量单元的测量数据，在预测信息指定位置找出目标，求当前帧图片中的目标和上一帧图片中的目标的图像相似度；当图像相似度小于等于设置值时，将当前帧图片的目标图片加入目标队列，跳转执行目标识别；当图像相似度大于设置值时，则根据当前目标位置刷新当前帧图片的预测信息；

目标识别：取出目标队列中的目标图片，进行目标识别，导出目标识别结果。

进一步的，所述对视频流进行目标检测，具体包括以下步骤：

接收视频流，并进行解码；

接收无人机的惯性测量单元的测量数据；

在当前帧图片中，根据目标识别类型的设定，执行目标搜索，目标对齐，记录目标的位置信息和记录目标的图片信息；

提取当前帧的图像特征点并与前一帧图片进行特征匹配，融合同步的所述惯性测量单元的测量数据，计算相机画面的运动速度与方向；

根据上一帧图片的预测信息的目标出现位置，结合相机画面的运动速度与方向，在当前帧图片的对应位置找出目标，求当前帧图片中的目标和上一帧图片中对应目标的图像相似度；

判断：当图像相似度大于设定阈值时，则根据当前目标位置刷新当前帧的预测信息；当图像相似度小于等于设定阈值时，则从当前帧图片中截取目标图片，将目标图片加入目标队列；跳转执行目标识别。

进一步的，所述对目标队列中的图片进行目标识别，具体包括以下步骤：获取目标队列的目标图片；从所述目标图片中提取图像特征；根据所述图像特征检索特征数据库，导出目标识别结果。

进一步的，所述导出目标识别结果的方式包括在屏显示，即将目标识别结果以在屏显示的方式叠加到回传的视频流上。

进一步的，所述图像特征点为ORB特征点、FAST特征点、BRIEF特征点、BRISK特征点、FREAK特征点、KAZE特征点中的一种。