[发明专利]一种实现检测模型高效的系统

说明书

本发明提供一种实现检测模型高效的系统，所述系统包括：模型推理模块，用于在卷积神经网络中的模型推理，且对于模型推理模块产生的结果进行处理；缓存模块，用于存储处理结果，其中缓存模块分为N个缓存区，其中N为大于等于2的正整数；模型后处理模块，用于在卷积神经网络中的模型后处理，且对于模型后处理模块运行前的数据进行处理。通过本系统，以简单的模块结构，让模型推理模块和模型结果后处理模块之间通过缓存模块实现两者可以并行运行，从而提高整体检测模型的整体效率。

技术领域

本发明涉及卷积神经网络加速技术领域，特别涉及一种实现检测模型高效的系统。

背景技术

卷积神经网络(CNN)是一种用于进行图像处理的、包含卷积计算且具有深度结构的前馈神经网络，其被广泛用于图像分类、图像识别等。近年来，随着科技的飞速发展，大数据时代已经到来。深度学习以深度神经网络(DNN)作为模型，在许多人工智能的关键领域取得了十分显著的成果，如图像识别、增强学习、语义分析等。卷积神经网络(CNN)作为一种典型的DNN结构，能有效提取出图像的隐层特征，并对图像进行准确分类，在近几年的图像识别和检测领域得到了广泛的应用。

现有技术中的术语和解释：

卷积神经网络(Convolutional Neural Networks,CNN)：是一类包含卷积计算且具有深度结构的前馈神经网络。

检测模型：根据目标任务定位图像中的目标对象的位置。

推理：在深度学习中，推理是指将一个预先训练好的神经网络模型部署到实际业务场景中，如图像分类、物体检测、在线翻译等。由于推理直接面向用户，因此推理性能至关重要，尤其对于企业级产品而言更是如此。

卷积神经网络推理和模型后处理流水线式运行：对于一帧图像先运行模型推理部分，然后再运行模型后处理部分。

现有技术中由于模型运行和模型后处理是按顺序运行的，必然会存在一个等待的情况，这对于采用硬件加速后，模型推理和模型后处理时间相当时，是会大大降低模型的整体的运行效率。

发明内容

为了解决上述问题，特别是模型推理模块和模型后处理模块之间产生等待的问题，本发明的目的在于：通过一种实现检测模型高效的系统，以简单的模块结构，让模型推理模块和模型结果后处理模块之间通过缓存模块实现两者可以并行运行，从而提高整体检测模型的整体效率。

具体地，本发明提供一种实现检测模型高效的系统，所述系统包括：模型推理模块，用于在卷积神经网络中的模型推理，且对于模型推理模块产生的结果进行处理；

缓存模块，用于存储处理结果，其中缓存模块分为N个缓存区，其中N为大于等于2的正整数；

模型后处理模块，用于在卷积神经网络中的模型后处理，且对于模型后处理模块运行前的数据进行处理。

所述的缓存模块的N个缓存区，其中N＝2，3，4，5，6，并且分别对应相应个数的缓存区。

优选N＝2，分别对应为第一缓存区和第二缓存区。

在所述模型推理模块处理完图像的一帧后，读取N个缓存区的写标志位，如果读到所述写标志位为1，则将数据写入相应的该缓存区中，并将读标志位置为1。

所述读取N个缓存区的写标志位，是顺序读取或同时读取。

由此，本申请的优势在于：对于在模型推理模块和模型后处理模块之间设置缓存模块，采用多缓存区的缓存策略，从而让模型推理和模型后处理部分可以同步运行，从而通过简单的设置缓存区的方式，实现提高检测模型的整体运行效率的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。