[发明专利]一种基于深度学习的多模块协同物体识别系统及方法

权利要求书

1.一种基于深度学习的多模块协同物体识别系统，其特征在于，包括集成于一体且协同工作的视频输入模块、视频处理子系统模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子系统模块和视频输出模块；

视频输入模块，用于接收实时视频数据并将其存入指定的内存区域；所述视频输入模块通过MIPI即移动产业处理器接口接收摄像头拍摄的实时视频数据，对接收到的原始视频图像数据进行处理，实现视频数据的采集；

视频处理子系统模块，用于调取内存区域的原始视频数据并将其分解为基础视频数据和扩展视频数据；其中，基础视频数据保持原始视频数据的分辨率；扩展视频数据的分辨率与神经网络加速引擎模块内的神经网络模型相匹配；

智能视频引擎模块，用于将当前扩展视频数据中的图像帧数据转化为神经网络模型相匹配的图像格式的帧数据；

神经网络加速引擎模块，用于获取格式转化后的帧数据，通过神经网络模型识别得到物体的类别与轮廓四点坐标位置信息；所述神经网络加速引擎模块在初始化操作过程中包括将计算机中训练好的神经网络模型进行格式转换，转化为神经网络加速引擎模块可加载的特定格式；

视频图形子系统模块，用于获取基础视频数据，再基于物体的类别及轮廓四点坐标位置信息，在基础视频数据中勾画出识别物体的轮廓框；

视频输出模块，用于输出带有识别物体轮廓框的视频图像数据。

2.如权利要求1所述的基于深度学习的多模块协同物体识别系统，其特征在于，视频输入模块、视频处理子系统模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子系统模块和视频输出模块均在接收启动命令后启动并同时均进行初始化操作。

3.如权利要求1所述的基于深度学习的多模块协同物体识别系统，其特征在于，所述视频处理子系统模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子系统模块和视频输出模块间进行多线程并行操作；其中，视频处理子系统模块、神经网络加速引擎模块、视频图形子系统模块和视频输出模块间进行VitoVo线程操作；智能视频引擎模块和神经网络加速引擎模块之间进行detect线程操作。

4.如权利要求3所述的基于深度学习的多模块协同物体识别系统，其特征在于，在VitoVo线程操作中，从扩展视频帧数据提取帧数据，放入帧数据链表中；在detect线程操作中，从帧数据链表按顺序取出帧数据，判断该帧数据是否进行识别，并根据是否进行识别的结果定义标志位，将标志位与帧号存入标志位链表中。

5.如权利要求3所述的基于深度学习的多模块协同物体识别系统，其特征在于，在VitoVo线程操作中，从识别结果链表中按顺序取出帧数据的物体识别结果与帧号，帧数据的物体识别结果与帧号是在识别detect线程中由神经网络加速引擎模块识别得到并被存入识别结果链表中的。

6.一种如权利要求1-5中任一项所述的基于深度学习的多模块协同物体识别系统的识别方法，其特征在于，包括：

接收启动命令并初始化视频输入模块、视频处理子系统模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子系统模块和视频输出模块；

利用视频输入模块接收实时视频数据并将其存入指定的内存区域；通过MIPI即移动产业处理器接口接收摄像头拍摄的实时视频数据，对接收到的原始视频图像数据进行处理，实现视频数据的采集；

利用视频处理子系统模块调取内存区域的原始视频数据并将其分解为基础视频数据和扩展视频数据；其中，基础视频数据保持原始视频数据的分辨率；扩展视频数据的分辨率与神经网络加速引擎模块内的神经网络模型相匹配；

利用智能视频引擎模将当前扩展视频数据中的图像帧数据转化为神经网络模型相匹配的图像格式的帧数据；

利用神经网络加速引擎模块获取格式转化后的帧数据，通过神经网络模型识别得到物体的类别与轮廓四点坐标位置信息；在初始化操作过程中包括将计算机中训练好的神经网络模型进行格式转换，转化为神经网络加速引擎模块可加载的特定格式；利用视频图形子系统模块获取基础视频数据，再基于物体的类别及轮廓四点坐标位置信息，在基础视频数据中勾画出识别物体的轮廓框；

利用视频输出模块输出带有识别物体轮廓框的视频图像数据。

7.如权利要求6所述的识别方法，其特征在于，还包括识别detect线程与VitoVo线程，这两个线程并行执行。