[发明专利]通过影像查询定位视频中未预习的活动的方法

权利要求书

1.一种通过影像查询定位视频中未预习的活动的方法，其特征在于包括如下步骤：

1)提取图像的基础区域特征，通过相对位置编码设计区域自注意力方法，得到细粒度图像的区域表示；

2)在转换器框架中添加帧序列的时间信息，引入步骤1)得到的细粒度图像的区域表示，设计N层堆叠的转换器编码器，得到最终的语义表示；其中每层转换器编码器都包含一个本地多路自注意力子层、一个多路注意力子层和一个前馈子层；

3)根据步骤2)得到的最终的语义表示，使用累积注意力合计得到目标视频片段的双向内容表示，预测目标视频片段的时间边界集合，进一步得到预测开始帧和预测结束帧。

2.根据权利要求1所述的通过影像查询定位到视频中未经预习的活动的方法，其特征在于所述的步骤1)具体为：

1.1)使用一个前训练卷积网络提取图像中包含m个基础区域的特征，构成区域矩阵R，并得到由前训练卷积网络的最后一层卷积层输出的特征图；其中r_i表示第i个基础区域的特征数据，r_i包含第i个基础区域的对象和关联的位置向量p_i＝(x_i,y_i,w_i,h_i)，p_i表示第i个基础区域的位置向量，x_i和y_i表示第i个基础区域的中心坐标，w_i和h_i表示第i个基础区域的宽度和高度，d_r是区域矩阵R的维数；

1.2)将步骤1.1)得到的特征图输入池化层，得到全局影像特征向量f^g；

1.3)根据步骤1.1)得到的区域矩阵R和步骤1.2)得到的全局影像特征向量f^g，采用区域自注意力方法建立基础区域之间的信息交互，最终得到细粒度图像的区域表示，具体步骤如下：

1.3.1)根据步骤1.1)得到的区域矩阵R，设置查询序列关键字和值其中n₁表示查询序列的个数，n₂表示关键字和值的个数，d₁表示Q和K的维数，d₂表示V的维数；

1.3.2)根据步骤1.3.1)所述的Q，K，V进行缩放点乘注意力运算：

其中Softmax(·)表示Softmax运算符；

1.3.3)将第i个基础区域与第j个基础区域组成一个区域对，根据p_i和p_j建立信息交互，得到区域对的相对位置向量

x_ij＝(x_i-x_j)/w_j，y_ij＝(y_i-y_j)/h_j

w_ij＝log(w_i/w_j)，h_ij＝log(h_i/h_j)

其中表示第i个基础区域和第j个基础区域的相对位置向量，i＝1,2,…,m；j＝1,2,…,m；

1.3.4)将步骤1.3.3)得到的区域对的相对位置向量映射到d_r维，由表示，其中W^r代表映射权重，

1.3.5)重复步骤1.3.3)-步骤1.3.4)，得到第i个基础区域的相对位置矩阵

1.3.6)根据步骤1.3.5)得到的相对位置矩阵得到第i个基础区域的区域自注意力

1.3.7)通过残差连接r_i、和f^g，并且参照层级正常化得到第i个基础区域的细粒度图像表示

其中LayerNorm(·)表示层级正常化运算，W_g表示映射矩阵；

1.3.8)重复步骤1.3.3)-步骤1.3.7)，直至得到m个基础区域的细粒度图像表示，构成细粒度图像的区域表示H^r，