[发明专利]一种提高检测模型效率的方法

说明书

本发明提供一种提高检测模型效率的方法，所述方法包括以下步骤：S1，在卷积神经网络模型推理和模型后处理部分之间，设置两个缓存区，分别为第一缓存区和第二缓存区；S2，所述模型推理处理完一帧后，依次按顺序读取第一缓存区和第二缓存区的写标志位，如果所述写标志位为1，则将数据写入对应的该缓存区中，并将读标志位置为1；S3，所述模型后处理部分依次按顺序读取第一缓存区和第二缓存区的读标志位，如果读标志位为1，则处理对应的该缓存区的数据，处理完后将该缓存区的读标志位置为0，写标志位置为1；S4，重复上述步骤S2‑S3，模型推理和模型后处理部分并行运行。

技术领域

本发明涉及卷积神经网络加速技术领域，特别涉及一种提高检测模型效率的方法。

背景技术

卷积神经网络(CNN)是一种用于进行图像处理的、包含卷积计算且具有深度结构的前馈神经网络，其被广泛用于图像分类、图像识别等。近年来，随着科技的飞速发展，大数据时代已经到来。深度学习以深度神经网络(DNN)作为模型，在许多人工智能的关键领域取得了十分显著的成果，如图像识别、增强学习、语义分析等。卷积神经网络(CNN)作为一种典型的DNN结构，能有效提取出图像的隐层特征，并对图像进行准确分类，在近几年的图像识别和检测领域得到了广泛的应用。

现有技术中的术语和解释：

卷积神经网络(Convolutional Neural Networks,CNN)：是一类包含卷积计算且具有深度结构的前馈神经网络。

检测模型：根据目标任务定位图像中的目标对象的位置。

推理：在深度学习中，推理是指将一个预先训练好的神经网络模型部署到实际业务场景中，如图像分类、物体检测、在线翻译等。由于推理直接面向用户，因此推理性能至关重要，尤其对于企业级产品而言更是如此。

卷积神经网络推理和模型后处理流水线式运行：对于一帧图像先运行模型推理部分，然后再运行模型后处理部分。

现有技术中由于模型运行和模型后处理是按顺序运行的，必然会存在一个等待的情况，这对于采用硬件加速后，模型推理和模型后处理时间相当时，是会大大降低模型的整体的运行效率。

发明内容

为了解决上述问题，特别是模型推理和模型后处理之间产生等待的问题，本发明的目的在于：让模型推理和模型结果后处理可以并行运行，从而提高检测模型的整体效率。

具体地，本发明提供一种提高检测模型效率的方法，所述方法包括以下步骤：

S1，在卷积神经网络模型推理和模型后处理部分之间，设置两个缓存区，分别为第一缓存区和第二缓存区；

S2，所述模型推理处理完一帧后，依次按顺序读取第一缓存区和第二缓存区的写标志位，如果所述写标志位为1，则将数据写入对应的该缓存区中，并将读标志位置为1；

S3，所述模型后处理部分依次按顺序读取第一缓存区和第二缓存区的读标志位，如果读标志位为1，则处理对应的该缓存区的数据，处理完后将该缓存区的读标志位置为0，写标志位置为1；

S4，重复上述步骤S2-S3，模型推理和模型后处理部分并行运行。

所述步骤S2进一步包括：如果第一缓存区的写标志位为0，则第一缓存区等待，并继续读取第二缓存区的写标志位，如果第二缓存区的写标志位也为0，则第二缓存区等待，并重新读取第一缓存区的写标志位。

所述的步骤S3进一步包括：如果第一缓存区的读标志位为0，则第一缓存区等待，并继续读取第二缓存区的读标志位，如果第二缓存区的读标志位也为0，则第二缓存区等待，并重新读取第一缓存区的读标志位。

由此，本申请的优势在于：对于模型推理和模型后处理可以采用双Buffer缓存策略，从而让模型推理和模型后处理部分可以同步运行，从而提高检测模型的整体运行效率。