[发明专利]声音事件定位模型训练方法和装置

权利要求书

1.一种声音事件定位模型训练方法，包括：

响应于输入音频和与所述输入音频对应的描述声音事件的短语，利用音频编码器将所述输入音频编码成特征向量序列，利用短语编码器将所述描述声音事件的短语编码成文本短语向量，其中，所述特征向量序列由所述音频中每个时刻的音频特征向量组成；

计算所述文本短语向量与所述每个时刻的音频特征向量的相似度；

基于相似度确定声音事件对应的开始时间和结束时间形成第一数据集的标注，基于对所述输入音频的声音事件标注形成第二数据集的标注；

通过最小化所述第一数据集的标注和所述第二数据集的标注之间的损失训练所述音频编码器和所述短语编码器。

2.根据权利要求1所述的方法，其中，所述基于对所述输入音频的声音事件标注形成第二数据集的标注包括：

从音频—自动文本摘要数据集中，对文本摘要提取短语，标注所提取的短语所对应的声音事件的开始结束时间，得到第二数据集的标注。

3.根据权利要求1所述的方法，其中，所述基于对所述输入音频的声音事件标注形成第二数据集的标注包括：

对音频事件检测的音频和声音事件标注对应的自然语言描述，得到音频—自然语言—声音事件的第二数据集的标注。

4.根据权利要求1所述的方法，其中，所述描述声音事件的短语包括名词短语以及名词短语和动词短语的组合。

5.根据权利要求4所述的方法，其中，所述音频编码器采用卷积递归神经网络。

6.根据权利要求1-5中任一项所述的方法，其中，所述损失为二进制交叉熵损失。

7.一种声音事件定位模型训练装置，包括：

编码模块，配置为响应于输入音频和与所述输入音频对应的描述声音事件的短语，利用音频编码器将所述输入音频编码成特征向量序列，利用短语编码器将所述描述声音事件的短语编码成文本短语向量，其中，所述特征向量序列由所述音频中每个时刻的音频特征向量组成；

计算模块，配置为计算所述文本短语向量与所述每个时刻的音频特征向量的相似度；

标注模块，配置为基于相似度确定声音事件对应的开始时间和结束时间形成第一数据集的标注，基于对所述输入音频的声音事件标注形成第二数据集的标注；

训练模块，配置为通过最小化所述第一数据集的标注和所述第二数据集的标注之间的损失训练所述音频编码器和所述短语编码器。

8.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至6任一项所述方法的步骤。

9.一种存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至6任一项所述方法的步骤。