[发明专利]一种用于云边端的目标检测网络构建方法及装置

权利要求书

1.一种用于云边端的目标检测网络构建方法，其特征在于，包括如下步骤：

采集包含至少一个目标的训练图像，得到目标检测数据集；

构建目标检测的初始网络，包括相连接的主干网、前景预测头以及稀疏解码器；

根据目标检测数据集对初始网络进行迭代训练至收敛，得到用于云边端的目标检测网络；

其中，主干网用于在训练图像中采样，形成多尺度目标特征图；前景预测头用于采用Top K Proposal算法初始化对象查询变量及位置嵌入信息；稀疏解码器用于根据细节感知向量组更新对象查询变量；

根据目标检测数据集对初始网络进行迭代训练至收敛，具体包括：

随机选取目标检测数据集中的训练图像，输入主干网；

主干网在训练图像中采样，形成多尺度目标特征图；

多尺度目标特征图输入前景预测头，采用Top K Proposal算法提取目标的大小、位置和置信度，初始化对象查询变量及位置嵌入信息；

重复如下步骤，直至初始网络收敛：向稀疏解码器输入对象查询变量及位置嵌入信息，并融合稀疏解码器得到的细节感知向量组，得到新的对象查询变量，并用新的对象查询变量替代上一个对象查询变量，迭代训练过程；

其中，稀疏解码器包括多个解码层，每个解码层包括细节感知采样子层、参考框子层和注意力子层；参考框子层用于对参考框进行编码，形成参考框向量组；细节感知采样子层用于基于参考框提取的参考特征图，得到细节感知向量组；注意力子层用于采用注意力机制将位置嵌入信息和对象查询变量融合，形成采样权重；

细节感知向量组与采样权重相乘后，经暂退计算，得到权重对象查询变量，通过融合当前的参考框向量组、对象查询变量及权重对象查询变量，形成新的对象查询变量；

向稀疏解码器输入对象查询变量及位置嵌入信息，并融合稀疏解码器得到的细节感知向量组，得到新的对象查询变量，具体包括：

将对象查询变量及位置嵌入信息相加并输入至注意力子层，其中注意力子层包括全连接单元及归一化单元；

对象查询变量及位置嵌入信息相加后得到的量依次经过全连接和归一化处理，得到对象查询变量对应的采样权重；

采样权重与细节感知向量组相乘，经过暂退计算得到权重对象查询变量；

将当前的权重对象查询变量、参考框向量组及对象查询变量相加，得到新的对象查询变量。

2.如权利要求1所述的构建方法，其特征在于，采集包含至少一个目标的训练图像之后，还包括：

对训练图像中的目标信息进行标注，目标信息包括标注类别、标注中心点坐标及标注框。

3.如权利要求1所述的构建方法，其特征在于，采用Top K Proposal算法提取目标的大小、位置和置信度，初始化对象查询变量及位置嵌入信息，具体包括：

对置信度进行排序，给出由高到低的前K个置信度对应的参考框，形成初始参考框；

按照初始参考框的位置映射到多尺度目标特征图，提取对应的目标特征，根据目标特征初始化对象查询变量；

按照初始参考框的大小和位置，初始化位置嵌入信息。

4.如权利要求1所述的构建方法，其特征在于，稀疏解码器得到的细节感知向量组，包括：

选取任一参考框，并依据选取的参考框截取任一尺度目标特征图，形成参考特征图；

将参考特征图输入细节感知采样子层，依次经过细节感知采样子层的卷积单元及归一化单元后，形成注意力权重；

将参考特征图与注意力权重按空间维度相乘，并进行全局池化，得到该参考特征图的细节感知向量；

采用其他的参考框及任一尺度目标特征图，重复细节感知过程，得到全部参考框在多尺度目标特征图的细节感知向量，形成细节感知向量组。

5.如权利要求1所述的构建方法，其特征在于，用新的对象查询变量替代上一个对象查询变量，迭代训练过程，具体包括：

基于新的对象查询变量预测上一个参考框的调节量，形成新的参考框；

采用新的参考框代替上一个参考框，用于进行下一轮训练的参考特征图截取；

采用新的对象查询变量代替上一个对象查询变量，用于进行下一轮训练的采样权重计算。