[发明专利]图像目标检测方法与装置

权利要求书

1.一种图像目标检测方法，其特征在于，包括如下步骤：

步骤一：使用Transformer网络作为骨干网络从图像提取多分辨率特征图；

步骤二：将步骤一中的多分辨率特征图输入到跨尺度注意力的特征金字塔网络中；

步骤三：在特征金字塔网络中，从步骤二中输入的小分辨率特征开始，利用跨尺度注意力模块，逐步往大分辨率进行特征的融合及重组，特征从小分辨率到大分辨率被累积融合；

步骤四：通过步骤三融合后的特征将被进一步送入后续处理及预测模块，进行检测框的回归和类别的预测，基于目标数据集训练上述跨尺度注意力的特征金字塔网络直至收敛；

步骤五：利用训练得到的跨尺度注意力的特征金字塔网络对待检测图片进行检测框的回归和类别的预测。

2.如权利要求1所述的图像目标检测方法，其特征在于，所述步骤三中跨尺度注意力模块通过以下步骤实现：

(3.1)第n个层次的特征和第(n+1)个层次的特征先被转换为1维的词元序列，即和其中H_n,W_n分别为特征F_n在高度和宽度两个维度的空间尺寸，C为特征的通道维度大小；H_n+1,W_n+1分别为特征F_n+1在高度和宽度两个维度的空间尺寸；

(3.2)将(3.1)中得到的两个特征序列映射到查询Query，键Key和值Value三个空间，得到三个空间的特征矩阵Q，K，V；

(3.3)对(3.2)中得到的Q，K，V三个矩阵进行注意力机制的运算。

3.如权利要求2所述的图像目标检测方法，其特征在于，Query矩阵通过对第n个层次的特征F_n进行线性映射得到，即：

Q＝F_n×W，

其中W为线性映射的矩阵参数，为映射后的Query矩阵。

4.如权利要求2所述的图像目标检测方法，其特征在于，Key矩阵和Value矩阵均通过直接级联F_n和F_n+1两组特征得到，即

K＝V＝[F_n，F_n+1]，

其中[·]表示级联操作，K，表示得到的Key矩阵和Value矩阵。

5.如权利要求2所述的图像目标检测方法，其特征在于，所述步骤(3.3)将Query矩阵和Key矩阵相乘得到注意力响应图，响应图被进一步作用于Value矩阵以得到新的token序列。

6.如权利要求1或2所述的图像目标检测方法，其特征在于，在所述步骤(3.3)中，第n个层次的token序列F_n最终将以残差连接的形式被再次加到新token序列上，整个过程被表示为F_attn＝softmax(QK^T)V+F_n，其中，F_attn为得到的输出特征矩阵，K^T为key矩阵K的转置，softmax为归一化指数函数。

7.如权利要求1或2所述的图像目标检测方法，其特征在于，跨尺度注意力模块在局部的各个特征窗口内进行运算。

8.如权利要求7所述的图像目标检测方法，其特征在于，窗口尺寸根据具体需求制定。

9.如权利要求1或2所述的图像目标检测方法，其特征在于，在所述步骤一中Transformer网络为Swin-Transformer。

10.一种图像目标检测装置，其特征在于：

包括至少一个处理器和存储器，所述至少一个处理器和存储器之间通过数据总线连接，所述存储器存储能被所述至少一个处理器执行的指令，所述指令在被所述处理器执行后，用于完成权利要求1-9中任一项所述的图像目标检测方法。