[发明专利]一种基于卷积神经网络的无人机监控方法及系统

权利要求书

1.一种基于卷积神经网络的无人机监控方法，其特征在于，该方法包括以下步骤：

采集视频序列，将所述视频序列输到图像处理器中；

对采集的视频数据进行预处理，并通过链队列将预处理后的视频数据进行缓存；

通过提前预训练好的卷积神经网络模型对链队列中存取的视频数据进行分析，分析后的输出结果为无人机的空间坐标，并将无人机空间坐标下发到监控终端；

读取无人机的空间坐标，对所述空间坐标进行分析，计算出舵机转动量，将所述舵机转动量发送到舵机中，控制舵机转动；

所述对采集的视频数据进行预处理的具体方式为：

将yv12格式的视频数据转换为YUV格式的视频数据；

所述将yv12格式的视频数据转换为YUV格式的视频数据的具体转换方法包括：

输入的yv12格式的视频流数据如下所示：

假设输入图像为大小，用col记录当前列值，row记录当前行值，YUV分别代表当前像素点的明亮度、色度及浓度，用idx代表输出的数据位置，将height赋值为4代表图像高度，width赋值为4代表图像宽度，widthStep代表储存一行像素需要的字节数，假设图像宽度为4，单像素点采用三个无符号整形的Y值、U值和V值表示，则widthStep长度为24个字节，inYv12代表输入的yv12格式的数据流，outYuv为格式转换后的数据流；

当第一个数据到来时，row为0，代表从图像的第1行开始处理数据，col在第1行从第1个位置增加至本行末端，Y值则逐点取出保存在outYuv中；V值和U值保存在字节流后端，需跳跃至字节流后端才可读取相应位置的数据，因此V值在开始读取数据，即V1处；

由于V值和U值在大小的像素块的值是一致的，所以通过tmp调整数据位置使其保持一致，当col为0和1时，tmp保持0不变，即取V1值，当col为2,3时，tmp保持1不变，即取V2值，而U值则在位置处开始读取数值；

当第一行结束时，跳转第二行，Y从Y5位置读取数值，col为0和1时，tmp为0，即取V1值，当col为2,3时，tmp保持1不变，即取V2值，U值取法与第一行一致，依次类推，直到结束，即可完成格式转换。

2.根据权利要求1所述的一种基于卷积神经网络的无人机监控方法，其特征在于，通过摄像机线程对采集的视频数据进行预处理，通过视频分析线程对缓存的数据进行分析，通过舵机控制线程读取无人机的空间坐标。

3.根据权利要求1所述的一种基于卷积神经网络的无人机监控方法，其特征在于，卷积神经网络模型为基于YOLOv2的目标检测框架。

4.一种基于卷积神经网络的无人机监控系统，应用于权利要求1-3任意一项所述的基于卷积神经网络的无人机监控方法，其特征在于，该系统包括：

视频采集模块，用于将所述视频序列输到图像处理器中；

图像处理器，用于对采集的视频数据进行预处理，并通过链队列将预处理后的视频数据进行缓存；

空间坐标计算模块，用于通过提前预训练好的卷积神经网络模型对链队列中存取的视频数据进行分析，分析后的输出结果为无人机的空间坐标，并将无人机空间坐标下发到监控终端；

舵机转动量计算模块，用于读取无人机的空间坐标，对所述空间坐标进行分析，计算出舵机转动量，将所述舵机转动量发送到舵机中，控制舵机转动。

5.根据权利要求4所述的一种基于卷积神经网络的无人机监控系统，其特征在于，所述图像处理器通过摄像机线程对采集的视频数据进行预处理，所述图像处理器通过视频分析线程对缓存的数据进行分析，所述图像处理器通过舵机控制线程读取无人机的空间坐标。

6.根据权利要求4所述的一种基于卷积神经网络的无人机监控系统，其特征在于，所述图像处理器将yv12格式的视频数据转换为YUV格式的视频数据。