[发明专利]基于自注意力变换网络的目标跟踪方法

权利要求书

1.一种基于自注意力变换网络的目标跟踪方法，其特征在于，其利用搜索图像编码模块、目标编码模块，解码模块、监督模块来实现；

所述的搜索图像编码模块，由多头自注意力网络和前馈网络串联实现，多头自注意力网络由n个自注意力网络并联而成，当将搜索图像块输入搜索图像编码模块时，搜索图像编码模块通过多头自注意力网络和前馈网络计算搜索图像块编码，搜索图像块编码的计算公式为：

其中X是搜索图像块特征矩阵，P是搜索图像块空间位置图的坐标矩阵，Q＝K＝X+P，Q和K分别表示具有空间位置信息的第一和第二搜索图像块矩阵，W_i^Q表示第i个自注意力网络中作用于Q的变换矩阵，W_i^K表示第i个自注意力网络中作用于K的变换矩阵，W_i^V表示第i个自注意力网络中作用于X的变换矩阵，i＝1,2,…,n，W^O表示多头自注意力网络中的特征降维矩阵，W₁表示前馈网络中第1层卷积层的卷积核，W₂表示前馈网络中第2层卷积层的卷积核，b₁表示前馈网络中第1层卷积层的偏置向量，b₂表示前馈网络中第2层卷积层的偏置向量，d表示矩阵K的维度，c表示矩阵拼接函数，s表示归一化指数函数；

所述的目标编码模块，通过掩码多头自注意力网络实现，掩码多头自注意力网络由n个自注意力网络并联而成，不同的目标模板输入此模块后，此模块通过掩码多头自注意力网络聚合不同目标模板，计算目标特征编码，目标特征编码的计算公式为：

其中,Z表示目标特征矩阵，Z＝(z₁,z₁,...,z_m)^T，z_j表示第j个目标模板特征，j＝1,2,…,m，m表示目标模板的数量，和分别表示第一和第二目标特征矩阵变量，表示第i个自注意力网络中作用于的变换矩阵，表示第i个自注意力网络中作用于的变换矩阵，表示第i个自注意力网络中作用于V的变换矩阵，i＝1,2,…,n，表示掩码多头自注意力网络中的特征降维矩阵，表示矩阵的维度，⊙表示两个矩阵的对应元素相乘，M表示掩码图矩阵；

所述的解码模块，通过多头注意力网络实现，多头注意力网络由n个注意力网络并联而成，将搜索图像特征编码和目标特征编码输入此模块后，此模块根据目标特征编码，通过多头注意力网络在搜索图像特征编码中进行查询匹配，计算目标预测框的位置坐标；

所述的监督模块，根据目标预测框的位置信息和真实目标位置信息，利用交并比函数和1范数函数计算目标预测框的位置信息和真实目标位置信息之间的误差，误差L的计算公式为：

其中，b是真实目标框的位置坐标，∩表示交运算，∪表示并运算，||·||₁表示1范数，表示包含和b的最小框坐标，λ₁表示交并比误差的正则化参数、λ₂表示1范数误差的正则化参数；以最小化误差L为目标，调节搜索图像编码模块、目标编码模块和解码模块中的神经网络参数；当误差L最小时，得到的搜索图像编码模块、目标编码模块和解码模块中的神经网络参数最优，将得到的这些神经网络参数用于目标跟踪；

基于自注意力变换网络的目标跟踪方法，其具体步骤包括：

S1，搜索图像编码模块对输入的搜索图像进行特征编码；裁剪搜索图像块，并将裁剪后的搜索图像块输入搜索图像编码模块，搜索图像编码模块利用多头自注意力网络和前馈网络对搜索图像进行特征编码，得到搜索图像块编码；

S2，目标编码模块聚合不同的目标模板进行目标特征编码；裁剪不同的目标模板，并将裁剪后的目标模板输入目标编码模块，目标编码模块利用掩码多头自注意力网络对目标模板进行特征编码，得到目标特征编码；

S3，解码模块根据目标特征编码查询搜索图像块编码中的目标，当目标特征编码和搜索图像块特征编码输入解码模块时，解码模块把目标特征编码作为查询项，在搜索图像块图像中进行查询匹配，得到目标预测框的位置坐标；

S4，监督模块根据目标预测框的位置坐标和真实目标位置坐标，调节搜索图像编码模块、目标编码模块和解码模块中的神经网络参数；根据解码模块输出的目标预测框的位置坐标和真实目标位置坐标，监督模块利用交并比函数和1范数函数计算目标预测框的位置信息和真实目标位置信息之间的误差；以最小化误差L为目标，调节搜索图像编码模块、目标编码模块和解码模块中的神经网络参数；当误差L最小时，得到的搜索图像编码模块、目标编码模块和解码模块中的神经网络参数最优，将得到的这些神经网络参数用于目标跟踪。

2.如权利要求1所述的基于自注意力变换网络的目标跟踪方法，其特征在于，

所述的目标预测框的位置坐标的计算公式为：

其中表示搜索图像块编码矩阵，表示具有空间位置信息的搜索图像块编码矩阵，表示第i个注意力网络中作用于的变换矩阵，表示第i个注意力网络中作用于的变换矩阵，表示第i个注意力网络中作用于的变换矩阵，i＝1,2,…,n，表示多头注意力网络中的特征降维矩阵，表示第1个前馈网络中第1层卷积层的卷积核，表示第1个前馈网络中第2层卷积层的卷积核，表示第1个前馈网络中第1层卷积层的偏置向量，表示第1个前馈网络中第2层卷积层的偏置向量，表示第2个前馈网络中第1层卷积层的卷积核，表示第2个前馈网络中第2层卷积层的卷积核，表示第2个前馈网络中第2层卷积层的偏置向量，表示第2个前馈网络中第2层卷积层的偏置向量，表示矩阵的维度，T是第1个前馈网络的输出矩阵,也是第2个前馈网络的输入矩阵，是目标预测框的位置坐标。