[发明专利]音频处理方法和装置

权利要求书

1.一种音频处理方法，其特征在于，所述方法包括：

获取音轨的音频编码信息；

对所述音轨的音频编码信息进行聚类，以得到所述音轨的音色聚类信息；

根据所述音轨分别对应的音频编码信息和音色聚类信息，获取所述音轨的混音参数；

在所述音轨数量为多个的情况下，根据多个所述音轨的混音参数，获取混合音频。

2.根据权利要求1所述的音频处理方法，其特征在于，所述音频编码信息包括频域的多维特征向量；

所述对所述音轨的音频编码信息进行聚类，以得到所述音轨的音色聚类信息，包括：

通过将所述音轨的多维特征向量输入到对应的聚类模型中，得到所述音轨的音色聚类信息；其中，每个所述音轨对应一个聚类模型，聚类模型用于音色匹配。

3.根据权利要求1所述的音频处理方法，其特征在于，所述根据所述音轨分别对应的音频编码信息和音色聚类信息，获取所述音轨的混音参数，包括：

根据所述音轨分别对应的音频编码信息、音色聚类信息和风格信息，获取所述音轨的混音参数。

4.根据权利要求3所述的音频处理方法，其特征在于，所述根据所述音轨分别对应的音频编码信息、音色聚类信息和风格信息，获取所述音轨的混音参数，包括：

将所述音频编码信息、音色聚类信息和风格信息并行输入到参数生成网络中，以得到所述混音参数；

其中，所述参数生成网络用于将所述音频编码信息、音色聚类信息和风格信息转化为预设维度的信息。

5.根据权利要求4所述的音频处理方法，其特征在于，所述参数生成网络包括特征融合层、多层感知机以及输出层；对应地，所述将所述音频编码信息、音色聚类信息和风格信息并行输入到参数生成网络中，以得到所述混音参数，包括：

将所述音频编码信息、音色聚类信息和风格信息并行输入到特征融合层，得到融合特征；

将所述融合特征输入到所述多层感知机中，以通过所述多层感知机输出预设维度的高维特征；及

将所述高维特征输入到激活函数层中，以通过所述激活函数层输出预设维度的混音参数。

6.根据权利要求1至5任意一项所述的音频处理方法，其特征在于，所述在所述音轨数量为多个的情况下，根据多个所述音轨的混音参数，获取混合音频，包括：

通过将所述音轨的音频数据和相应的混音参数输入到预先训练好的混音神经网络模型中，获取所述音轨的目标音频信息；多个所述音轨对应多组所述目标音频信息；

对多个所述音轨对应的多组所述目标音频信息进行音频混合操作，以得到所述混合音频。

7.根据权利要求6所述的音频处理方法，其特征在于，所述混音神经网络模型包括深度网络模型；

其中，所述深度网络模型依次包括：

批归一化层，用于接收和处理音频数据；

串联的多个编码层，每个编码层分别用于处理上一层的输出和所述混音参数；

串联的多个中间卷积层，每个中间卷积层分别用于处理上一层的输出；

串联的多个解码层，每个解码层分别用于处理上一层的输出和相应编码层的输出；

中间卷积层，用于处理上一层的输出；

卷积层，用于处理所述中间卷积层的输出，并经由输出层输出所述音轨的目标音频信息；

其中，所述多个解码层所述多个编码层一一对应连接，连接方式包括：按照层级顺序将层级最近的编码层和解码层对应连接；在剩余的编码层和解码层中，继续按照层次顺序将最近的编码层和解码层对应连接，并继续该方式连接直至连接完毕。

8.一种音频处理装置，其特征在于，所述装置包括：

第一获取模块，用于获取音轨的音频编码信息；

聚类模块，用于对所述音轨的音频编码信息进行聚类，以得到所述音轨的音色聚类信息；

第二获取模块，用于根据所述音轨分别对应的音频编码信息和音色聚类信息，获取所述音轨的混音参数；

第三获取模块，用于在所述音轨数量为多个的情况下，根据多个所述音轨的混音参数，获取混合音频。