[发明专利]基于位置编码卷积神经网络的声音定位识别方法及装置

权利要求书

1.一种基于位置编码卷积神经网络的声音定位识别方法，其特征在于，包括：

将目标声源信号输入多任务模型中的编码模型，得到所述目标声源信号的编码结果；其中，所述编码模型用于对所述目标声源信号进行位置信息编码；

将所述目标声源信号和所述编码结果输入所述多任务模型中的特征提取模型，得到所述目标声源信号的特征向量；

将所述目标声源信号的特征向量输入所述多任务模型中的解码模型，得到所述目标声源信号的解码结果；

将所述目标声源信号的解码结果输入所述多任务模型中的定位识别模型，得到所述目标声源信号的定位结果和识别结果；

其中，所述多任务模型基于样本声源信号和所述样本声源信号对应的参考定位结果和参考识别结果训练得到。

2.根据权利要求1所述的基于位置编码卷积神经网络的声音定位识别方法，其特征在于，所述特征提取模型包括第一子特征提取模型和第二子特征提取模型，所述特征向量包括第一子特征向量和第二子特征向量；

相应地，所述将所述目标声源信号和所述编码结果输入所述多任务模型中的特征提取模型，得到所述目标声源信号的特征向量，包括：

将所述目标声源信号和所述编码结果输入所述第一子特征提取模型，得到所述目标声源信号的第一子特征向量，将所述目标声源信号和所述编码结果输入所述第二子特征提取模型，得到所述目标声源信号的第二子特征向量；

其中，所述第一子特征提取模型用于提取与所述目标声源信号的定位结果相关的特征，所述第二子特征提取模型用于提取与所述目标声源信号的识别结果相关的特征。

3.根据权利要求1所述的基于位置编码卷积神经网络的声音定位识别方法，其特征在于，所述特征提取模型包含至少一组位置信息保持模块和池化模块；

所述位置信息保持模块包含多个不同尺度的第一卷积模块，以及第二卷积模块；

多个不同尺度的第一卷积模块，用于对所述目标声源信号和所述编码结果进行多尺度特征提取，得到所述目标声源信号的多个不同尺度的特征向量；

第二卷积模块，用于对多个不同尺度的特征向量进行融合；

所述池化模块，用于对融合结果进行池化操作。

4.根据权利要求1-3任一所述的基于位置编码卷积神经网络的声音定位识别方法，其特征在于，所述定位识别模型包括至少一组并行的第一Transformer模型和第二Transformer模型；

每组所述第一Transformer模型用于对所述目标声源信号的每一声音事件进行定位；

每组所述第二Transformer模型用于对所述目标声源信号的每一声音事件进行识别。

5.根据权利要求1-3任一所述的基于位置编码卷积神经网络的声音定位识别方法，其特征在于，在所述将目标声源信号输入多任务模型中的编码模型，得到所述目标声源信号的编码结果之前，还包括：

对所述样本声源信号进行初步数据增强后，进行初步特征提取，得到所述样本声源信号的初步特征向量；

和/或，对所述样本声源信号的初步特征向量中的部分特征向量，进行再次数据增强；

根据所述样本声源信号的初步特征向量和/或再次数据增强后的部分特征向量，以及所述样本声源信号对应的参考定位结果和参考识别结果对所述多任务模型进行训练。

6.根据权利要求5所述的基于位置编码卷积神经网络的声音定位识别方法，其特征在于，所述初步特征向量包括对数梅尔声谱特征向量和强度特征向量；

相应地，对所述样本声源信号的初步特征向量中的部分特征向量，进行再次数据增强，包括：

对所述初步特征向量中的对数梅尔声谱特征向量，进行梅尔声谱数据增强。

7.根据权利要求5所述的基于位置编码卷积神经网络的声音定位识别方法，其特征在于，所述初步数据增强包括按照一种或多种方向对所述样本声源信号进行旋转，和/或对不同类别的样本声源信号进行随机叠加数据增强。