[发明专利]一种用于边缘端图像的识别加速系统和方法

说明书

本发明公开一种一种用于边缘端图像的识别加速系统和方法，本系统以FPGA和MPSOC为核心处理器，其中为了到达图像识别的实时性要求，以FPGA为核心实现图像识别算法，MPSOC芯片包括多核处理器（PS）、GPU和PL逻辑，MPSOC则实现监控管理、视频预处理、图像检测处理选择、图像检测算法、图像匹配、图像识别预处理等功能。该系统拥有强大的神经网络计算能力，不需要将大规模图像信息传输到云端进行识别，具有能实时性高，可扩展性强，功耗低的优点。

技术领域

本发明涉及视频处理领域，具体是一种用于边缘端图像的识别加速系统和方法。

背景技术

大部分大规模的图像识别系统是采用云端来处理大规模的图像识别算法，这种系统会带来比较大的延迟和较高的成本，一些边缘端的图像识别系统只能实时处理小规模的图像识别算法，能耗高、实时性差。

发明内容

本发明要解决的技术问题是提供一种用于边缘端图像的识别加速系统和方法，可以在边缘端实现大规模的图像识别算法，采用本系统具有能耗低、实时性好、便于升级的优点。

为了解决所述技术问题，本发明采用的技术方案是：一种用于边缘端图像的识别加速系统，包括MPSOC和FPGA，MPSOC包括PS端、PL端和高速接口，PS端包括视频预处理模块、图像检测模块、人脸识别预处理模块、MTCNN模块、人脸匹配模块和监控管理模块，PL端包括人脸识别预处理模块和MTCNN模块，FPGA包括控制接口、数据解析模块和mobilefacenet模块，视频预处理模块与图像检测模块相连，图像检测模块分别与PS端和PL端的人脸识别预处理模块相连，人脸识别预处理模块与MTCNN模块相连，MTCNN模块通过高速接口与FPGA的数据解析模块，数据解析模块与mobilefacenet模块，mobileface模块通过高速接口与人脸匹配模块，人脸匹配模块同时与存储有图像特征相连的DDR相连。

进一步的，MPSOC连接的FPGA数量为两个以上。

进一步的，所述高速接口为srio接口或者Aurora接口。

本发明还公开了一种用于边缘端图像的识别加速方法，包括以下步骤：S01）、视频预处理模块对进入MPSOC的视频图像进行预处理；S02）、图像检测模块对预处理后的视频图像进行标号，并根据图像个数评估PS端处理器是否能达到要求的实时性，如果不能达到要求则在下一帧视频图像处理时将视频预处理后的图片输入到PL端的人脸识别预处理模块和MTCNN模块进行处理；S03）、人脸识别预处理模块将编好号的N个图像分为M组，每组有N/M个图像，M、N均为正整数，M≥2且N＞M，然后将M组图像均根据标号组成M组数据帧，将M组数据帧分别通过高速接口发给至M个FPGA；S04）、FPGA中的数据解析模块从接收的数据帧从剥离图像数据，然后将图像数据传输至mobilefacenet模块；S05）、mobilefacenet模块对接收的图像数据进行图像识别，并将生成的图像特征向量组成成一定格式的帧通过高速接口发送回MPSOC；S06）、MPSOC接收mobilefacenet模块返回的图像特征向量帧，解帧后发送至PS端的人脸匹配模块；S07）、人脸匹配模块将mobilefacenet模块识别的图像特征向量与DDR存储的数据库中的图像特征向量进行比对，得出图像识别结果，并将结果通过视频显示出来。

进一步的，MPSOC连接的FPGA数量为两个以上。

进一步的，所述高速接口为srio接口或者Aurora接口。

进一步的，MPSOC发送给FPGA以及FPGA返回至MPSOC的帧都是图像数据加报文头标志和crc校验位，数据解析模块剥离图像数据是将添加的报文头标志和crc校验位去掉，只留下图像数据。

进一步的，所述视频预处理模块对图像进行裁剪、整形。