[发明专利]基于DNNDK模型的运动目标实时检测跟踪系统及方法

说明书

本发明公开了基于DNNDK模型的运动目标实时检测跟踪系统及方法，MPSoC芯片的PS模块从内存中读取拍摄的图像，并将图像传输给PL模块，PL模块对图像进行预处理，将预处理后的图像输入到PL模块的DPU，DPU将得到的Darknet‑53网络结构的两个网络分支的yolo层数据发送给PS模块；DPU中部署有训练好的YOLOv3算法的Darknet‑53网络结构，网络结构是通过工具包DNNDK进行处理后部署到DPU中的；MPSoC的PS模块根据阈值对目标候选框进行筛选，得到最终目标坐标位置，根据最终位置生成云台转动控制指令，将指令发送给驱动器，驱动器控制云台转动带动摄像头转动进行下一个视角的拍摄。

技术领域

本公开涉及目标检测跟踪技术领域，特别是涉及基于DNNDK模型的运动目标实时检测跟踪系统及方法。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

深度学习方兴未艾，随着硬件性能的不断提高，深度学习越来越多的在各行各业中得到应用。然而，从问题定义到问题解决经历的整个过程却没有那么简单。例如，采用深度学习进行运动目标实时检测跟踪时，首先需要采集运动目标相关的图像素材，开始对其进行标记，其次选择一个深度学习算法框架，搭建训练环境，配置各种参数，并选用或者自己编写一种适合的神经网络模型进行训练，然后把训练好的模型部署到硬件平台上进行深度学习，检测跟踪运动目标。但是，发明人发现生成好的模型文件如何部署到硬件平台上，硬件资源是否够用是整个过程中需要集中解决的问题。

发明内容

为了解决现有技术的不足，本公开提供了基于DNNDK模型的运动目标实时检测跟踪系统及方法；

第一方面，本公开提供了基于DNNDK模型的运动目标实时检测跟踪系统；

基于DNNDK模型的运动目标实时检测跟踪系统，包括：MPSoC芯片、驱动器、云台、摄像头、内存、电源和显示器；其中，MPSoC芯片包括彼此连接的PS模块(Processing System，处理系统)和PL模块(Programmable Logic，可编程逻辑)；

所述云台上搭载摄像头，所述摄像头在所监视范围内进行360度的旋转拍摄；所拍摄的图像输送到内存进行缓存；

MPSoC芯片的PS模块从内存中读取图像，并将图像传输给PL模块，PL模块对图像进行预处理，然后将预处理后的图像输入到PL模块的深度学习处理单元DPU，得到Darknet-53网络结构的两个网络分支的yolo层数据；将Darknet-53网络结构的两个网络分支的yolo层数据发送给PS模块；

所述深度学习处理单元DPU中部署有训练好的YOLOv3算法的Darknet-53网络结构，所述训练好的YOLOv3算法的Darknet-53网络结构是通过深度神经网络开发工具包DNNDK进行处理后部署到深度学习处理单元DPU中的；

MPSoC芯片的PS模块对Darknet-53网络结构的两个网络分支的yolo层数据进行处理，根据设定阈值对目标候选框进行筛选，得到最终的待检测跟踪目标的坐标位置，根据最终的待检测跟踪目标的坐标位置生成云台转动的控制指令，将生成的云台转动控制指令发送给驱动器，驱动器控制云台转动，云台带动摄像头转动，转动后的摄像头进行下一个视角的图像拍摄。

第二方面，本公开提供了基于DNNDK模型的运动目标实时检测跟踪方法；

基于DNNDK模型的运动目标实时检测跟踪方法，包括：

摄像头对待检测跟踪目标进行视频采集，获得待检测跟踪目标的视频流；将视频流传送给内存进行存储；