[发明专利]跨模态注意力一致性网络自监督学习方法

权利要求书

1.一种跨模态注意力一致性网络自监督学习方法，其特征在于，包括：

获取无标注视频编码后的视频信号和音频信号；

对所述视频信号进行自适应卷积运算得到视频自适应卷积核，对所述音频信号进行自适应据卷积运算得到音频自适应卷积核；

将所述视频自适应卷积核进行跨模态对比损失计算得到视频自适应卷积核对比损失，将音频自适应卷积核进行跨模态对比损失计算得到音频自适应卷积核对比损失；

对所述视频自适应卷积核在音频模态下进行金字塔协同滤波得到视频引导下的音频注意力图，对所述音频自适应卷积核在视频模态下进行金字塔协同滤波得到音频引导下的视频注意力图；

通过对所述视频信号显著性检测计算获得自身视频注意力图，通过对所述音频信号显著性检测计算获得自身音频注意力图；

将所述视频引导下的音频注意力图和所述自身音频注意力图进行一致性运算得到音频注意力图对比损失，将所述音频引导下的视频注意力图和所述自身视频注意力图进行一致性运算得到视频注意力图对比损失；

将所述视频自适应卷积核对比损失、所述音频自适应卷积核对比损失、所述音频注意力图对比损失和所述视频注意力图对比损失求和，并对求和结果进行优化至最小值收敛，以获得发声物体的区域和目标物体发出的声音频率。

2.根据权利要求1所述的方法，其特征在于，对所述视频信号进行自适应据卷积运算得到视频自适应卷积核，对所述音频信号进行自适应据卷积运算得到音频自适应卷积核包括：

其中，v_n为第n个视频编码后的视频信号，a_n为第n个视频编码后的音频信号，g_v(·)和g_a(·)是两个转换函数，为视频自适应卷积核，为音频自适应卷积核。

3.根据权利要求2所述的方法，其特征在于，所述转换函数包括：

g_v(v_n)＝W_v*v_n (3)

g_a(a_n)＝W_a*a_n (4)

其中，W_v和W_a分别为可学习的卷积核参数，*为卷积计算。

4.根据权利要求1所述的方法，其特征在于，所述跨模态对比损失计包括引入负样本对参与计算，所述负样本对包括跨模态负样本对和模态内负样本对。

5.根据权利要求4所述的方法，其特征在于，所述将所述视频自适应卷积核进行跨模态对比损失计算得到视频自适应卷积核对比损失，将音频自适应卷积核进行跨模态对比损失计算得到音频自适应卷积核对比损失还包括：

其中，为跨模态正样本对，度量同一个视频的视觉模态和音频模态特征之间的相似度，为跨模态负样本对，度量第n个视频的视觉模态特征和第m个视频的音频模态特征之间的相似度，为视频模态内负样本对，度量了第n个视频的视觉模态特征和第m个视频的视觉模态特征之间的相似度，为音频模态内负样本对，度量了第n个视频的音频模态特征和第m个视频的音频模态特征之间的相似度。

6.根据权利要求1所述的方法，其特征在于，所述对所述视频自适应卷积核在音频模态下进行金字塔协同滤波得到视频引导下的音频注意力图，对所述音频自适应卷积核在视频模态下进行金字塔协同滤波得到音频引导下的视频注意力图，包括：

其中，是音频引导下的视觉注意图，而是视觉引导下的音频注意力图。(*)表示卷积运算，norm()为余弦归一化函数。