[发明专利]一种基于联合注意力ResNeSt的复杂场景下网络直播视频特征提取方法

权利要求书

1.一种基于联合注意力ResNeSt 的复杂场景下网络直播视频特征提取方法，其特征在于包括以下步骤：

1)网络直播视频的并行特征金字塔构建

构建了一个多尺度的并行特征金字塔结构；通过特征金字塔中的并行连接将不同尺度的特征图融合起来，并行连接包括1×1卷积的横向连接和随层数变化的斜向连接；

并行连接中横向连接使用的是1×1的卷积；斜向连接使用3×3的卷积对特征图进行下采样，其步长可动态调整为2(m-n)，其中n和m分别为主干结构C_n和并行结构D_m的层级数下标；

2)联合注意力驱动的特征金字塔设计

首先沿通道轴向应用平均池化和最大池化操作，并将它们连接起来生成有效的特征描述符，通过此操作找出视频帧信息中需要被关注的区域，最终利用标准卷积可获得空间注意力；输入的特征图F按照取每个通道的最大池化和平均池化的结果，按顺序分别送入一个多层感知机MLP，把输出结果直接加起来，然后经过ReLU激活函数，得到空间注意力模块的特征图M_s(F)，整个过程如下式：

其中，M_s代表空间注意力，σ代表了ReLU非线性函数，f^3×3代表卷积过程中利用3×3的卷积核；AvgPool代表上一层加权平均的池化操作，MaxPool代表获得上一层最大值的池化操作；F^s_avg即为平均池化后的结果，F^s_max即为最大池化后的结果；

获得空间注意力权重之后，进一步考虑引入通道注意力，如下所示：

其中M_c(F)代表通道注意力，σ代表了ReLU非线性函数，MLP是多层感知机矩阵运算，W₀和W₁为是多层感知机的权值；AvgPool代表上一层加权平均的池化操作，MaxPool代表获得上一层最大值的池化操作；F^c_avg即为平均池化后的结果，F^c_max即为最大池化后的结果；

将计算获得的空间注意力和通道注意力权重保留到下一层，通过特征提取模块的不断传递和叠加直到最后；

3)基于联合注意力和ResNeSt网络的直播视频场景特征表达

ResNeSt则又在ResNeXt的分支结构基础上增添了拆分注意力模块，数学表达如下所示：

s＝F_ex(z,W)＝sigmoid(W₃σ(W₄z)) (4)

其中，z代表顺着空间维度的特征压缩，F_sq代表压缩函数，u_c代表第c个卷积核，i，j分别是矩阵中对应的元素，H、W和C分别为图像的高度、宽度和通道数；s代表深层特征图，F_ex代表特征提取函数，σ代表了ReLU非线性函数，W₃、W₄代表降维系数是两个可以手动设置的超参数，压缩后的全局描述特征z经过ReLU和sigmoid两个全连接层的bottleneck结构恢复原始的维度，得到(1×1×C)的输出。