[发明专利]一种用于云边端的目标检测网络构建方法及装置

说明书

本发明公开了一种用于云边端的目标检测网络构建方法及装置，采集包含至少一个目标的训练图像，得到目标检测数据集；构建目标检测的初始网络，包括相连接的主干网、前景预测头以及稀疏解码器；根据目标检测数据集对初始网络进行迭代训练至收敛，得到用于云边端的目标检测网络。本发明的目标检测网络构建方法，收敛快速、所需训练时间短，且得到的目标检测网络能够在云边端上实现高效运行。

技术领域

本发明涉及信息技术处理领域，具体涉及一种用于云边端的目标检测网络构建方法及装置。

背景技术

目标检测领域中，CNN-based的检测器可分为3个基本组件：Backbone+Neck+Head，分别用于特征提取+多尺度特征聚合+检测头(用于分类回归)，而Transformer-based的方法同样可分为：Backbone(+Neck)+Encoder（编码）+Decoder（解码），即特征提取(+多尺度特征聚合)+特征聚合+Query（查询）修正。

CNN-based方法多采用多对一的标签分配算法，因此都需要采用NMS进行后处理。而Transformer-based方法更符合检测任务的本质，即图像到集合的映射，不论从工业还是学术的角度有极大的发展潜力。

Transformer-based方法能捕获全局上下文信息，抽取更强有力的特征，可以直接融合向量，可以针对不同的任务在不同的表示子空间学习相关的信息。因此，在计算机视觉领域得到了迅速的发展。

但是，现有Transformer-based的方法在进行计算机视觉任务时，存在以下问题：（1）收敛速度慢：相比于CNN-based方法，Transformer-based方法的初始化随机性较大，通常需要训练更多的轮数才能达到同样的性能。（2）运行效率低：Transformer-based方法中Encoder环节的计算复杂度远远高于CNN-based方法中Neck的计算复杂度，导致Transformer-based方法的运行效率偏低。

在针对具体的场景中，研究者采用不同的方式对Transformer-base进行改进。如专利CN113673489A给出的基于级联Transformer的视频群体行为识别方法，由两级Transformer网络实现，第一级人体目标检测Transformer检测人体目标框并提取群体中具有判别性的个体特征，第二级群体行为识别Transformer通过自注意力机制提取单帧空间特征及帧间时序特征，有效融合个体行为特征提取群体级别特征，最后通过多层感知机输出群体行为类别。

但是，当前的研究对于收敛速度慢、目标检测模型运行效率低的问题仍没有得到有效的解决。尤其是在云边端的目标检测应用中，传统的Transformer检测方法对算力要求过高，难以部署。

因此，如何构建一种目标检测网络，提高训练时的收敛速度、缩短所需训练时间，以实现在云边端上高效运行是本领域技术人员亟待解决的问题。

发明内容

针对上述现有技术中存在的缺陷，本发明提供了一种用于云边端的目标检测网络构建方法及装置，构建的目标检测网络基于前景响应得到初始化对象查询和初始化位置嵌入，并去除Transformer模型中编码器环节，简化并稀释解码器环节，以此来加速模型训练的收敛速度，缩短训练时间，实现目标检测网络在云边端上高效运行。

第一方面，本发明提供一种用于云边端的目标检测网络构建方法，包括如下步骤：

采集包含至少一个目标的训练图像，得到目标检测数据集；

构建目标检测的初始网络，包括相连接的主干网、前景预测头以及稀疏解码器；

根据目标检测数据集对初始网络进行迭代训练至收敛，得到用于云边端的目标检测网络；