[发明专利]音频丢包补偿处理方法、装置及电子设备

权利要求书

1.一种音频丢包补偿处理方法，包括：

在出现音频丢包的情况下，获取第一数量的已有音频帧的时域信号；

对该第一数量的已有音频帧的时域信号进行声学特征提取，生成所述已有音频帧的声学特征；

对该第一数量的已有音频帧的时域信号进行语义特征提取，以及基于提取出的语义特征进行语义理解，生成所述已有音频帧对应的语义表达；

根据所述声学特征和所述语义表达，预测当前音频帧的时域信号，用于音频丢包补偿。

2.根据权利要求1所述的方法，其中，所述对该第一数量的已有音频帧的时域信号进行声学特征提取，生成所述已有音频帧的声学特征包括：

使用多个分支的一维卷积网络，对该第一数量的已有音频帧的时域信号进行声学特征提取，生成多个低维度的声学特征；

对所述多个低维度的声学特征，进行聚合处理，生成所述已有音频帧的声学特征。

3.根据权利要求2所述的方法，其中，对所述多个低维度的声学特征，进行聚合处理，生成所述已有音频帧的声学特征包括：

对所述多个低维度的声学特征，通过注意力模块进行聚合，生成所述已有音频帧的声学特征。

4.根据权利要求2所述的方法，其中，还包括：

对预设数量的已有音频帧的声学特征进行缓存，用于后续音频帧的预测处理。

5.根据权利要求1所述的方法，其中，对该第一数量的已有音频帧的时域信号进行语义特征提取，以及基于提取出的语义特征进行语义理解，生成所述已有音频帧对应的语义表达包括：

使用一维卷积网络对所述对该第一数量的已有音频帧的时域信号进行语义特征提取，使用GRU网络基于提取出的语义特征进行语义理解，生成所述已有音频帧对应的音素级别的语义表达。

6.根据权利要求1所述的方法，其中，根据所述声学特征和所述语义表达，预测当前音频帧的时域信号包括：

使用GRU网络根据所述声学特征和所述语义表达，预测当前音频帧的时域信号。

7.根据权利要求6所述的方法，其中，所述GRU网络中采用稀疏化的模型参数。

8.一种音频丢包补偿处理方法，包括：

获取当前音频帧的时域信号和帧状态；

如果所述帧状态为丢失状态，则使用音频预测模型，根据该当前音频帧之前的第一数量的已有音频帧的时域信号，对当前音频帧的时域信号进行预测，将预测结果作为当前音频帧进行输出；

如果所述帧状态为完好状态，则使用当前音频帧和该当前音频帧之前的第一数量的已有音频帧的时域信号作为训练数据，对所述音频预测模型进行训练，并更新所述音频预测模型，以及将处于完好状态的所述当前音频帧进行输出，

其中，根据该当前音频帧之前的第一数量的已有音频帧的时域信号，对当前音频帧的时域信号进行预测包括：

对该第一数量的已有音频帧的时域信号进行声学特征提取，生成所述已有音频帧的声学特征；

对该第一数量的已有音频帧的时域信号进行语义特征提取，以及基于提取出的语义特征进行语义理解，生成所述已有音频帧对应的语义表达；

根据所述声学特征和所述语义表达，预测当前音频帧的时域信号。

9.根据权利要求8所述的方法，其中，所述对该第一数量的已有音频帧的时域信号进行声学特征提取，生成所述已有音频帧的声学特征包括：

使用多个分支的一维卷积网络，对该第一数量的已有音频帧的时域信号进行声学特征提取，生成多个低维度的声学特征；

对所述多个低维度的声学特征，进行聚合处理，生成所述已有音频帧的声学特征。