[发明专利]跨模态注意力一致性网络自监督学习方法

说明书

本发明公开了一种跨模态注意力一致性网络自监督学习方法，包括：获取视频信号和音频信号；进行自适应卷积运算得到视频自适应卷积核和音频自适应卷积核；进行跨模态对比损失计算得到视频自适应卷积核对比损失和音频自适应卷积核对比损失；在音频/视频模态下进行金字塔协同滤波得到视频引导下的音频注意力图和音频引导下的视频注意力图；通过显著性检测计算获得自身视频注意力图和自身音频注意力图；进行一致性运算得到音频注意力图对比损失和视频注意力图对比损失；将视频自适应卷积核对比损失、音频自适应卷积核对比损失、音频注意力图对比损失和视频注意力图对比损失求和，并优化至收敛，获得发声物体的区域和目标物体发出的声音频率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种跨模态注意力一致性网络自监督学习方法。

背景技术

视觉-音频自监督技术旨在探索跨模态数据之间的内在关联来无监督的学习视觉和音频特征编码器。由于没有人工标注，最新的方法侧重于设计某种代理任务来更新网络，例如检测输入的视觉和音频信号是否来自于同一个视频。然而，在人类的认知系统中，我们的视觉系统会关注到发声的区域，而我们的听觉系统则会关注到感兴趣目标发出的声音。这样一种天然的监督信息非常重要，但往往被现有技术所忽略。

因此，目前亟待解决的技术问题是，如何利用视频信号-音频信号之间的关联性，更准确的获得发声物体的区域信息和目标物体发出的声音信息，改善无监督学习的效果。

发明内容

为了解决上述技术问题，本发明提供一种跨模态注意力一致性网络自监督学习方法，可以利用视频信号-音频信号之间的关联性，更准确的获得发声物体的区域信息和目标物体发出的声音信息，改善无监督学习的效果。具体方案如下。

一种跨模态注意力一致性网络自监督学习方法，包括：

获取无标注视频编码后的视频信号和音频信号；

对所述视频信号进行自适应卷积运算得到视频自适应卷积核，对所述音频信号进行自适应据卷积运算得到音频自适应卷积核；

将所述视频自适应卷积核进行跨模态对比损失计算得到视频自适应卷积核对比损失，将音频自适应卷积核进行跨模态对比损失计算得到音频自适应卷积核对比损失；

对所述视频自适应卷积核在音频模态下进行金字塔协同滤波得到视频引导下的音频注意力图，对所述音频自适应卷积核在视频模态下进行金字塔协同滤波得到音频引导下的视频注意力图；

通过对所述视频信号显著性检测计算获得自身视频注意力图，通过对所述音频信号显著性检测计算获得自身音频注意力图；

将所述视频引导下的音频注意力图和所述自身音频注意力图进行一致性运算得到音频注意力图对比损失，将所述音频引导下的视频注意力图和所述自身视频注意力图进行一致性运算得到视频注意力图对比损失；

将所述视频自适应卷积核对比损失、所述音频自适应卷积核对比损失、所述音频注意力图对比损失和所述视频注意力图对比损失求和，并对求和结果进行优化至最小值收敛，以获得发声物体的区域和目标物体发出的声音频率。

根据本发明的一些实施例，对所述视频信号进行自适应据卷积运算得到视频自适应卷积核，对所述音频信号进行自适应据卷积运算得到音频自适应卷积核包括：

其中，v_n为第n个视频编码后的视频信号，a_n为第n个视频编码后的音频信号，g_v(·)和g_a(·)是两个转换函数，为视频自适应卷积核，为音频自适应卷积核。

根据本发明的一些实施例，所述转换函数包括：