[发明专利]网络直播音频处理方法及其装置、设备、介质、产品

说明书

本申请涉及网络直播音频处理技术，公开一种网络直播音频处理方法及其装置、设备、介质、产品，所述方法包括：获取直播间连线状态中的远端音频数据，将其与本机音频数据混音为外放音频数据后播放；以所述远端音频数据为参考信号对本机采集的实时音频数据进行回声消除，获得中间音频数据，其中消除了远端音频数据的回声信号而保留本机音频数据的回声信号；将所述本机音频数据叠加本机环回延迟值后与所述中间音频数据混音，获得混音音频数据；向所述直播间推送包含所述混音音频数据的直播流。本申请能够有效消除网络直播过程中多人连线引起的双讲现象，并且能够有效保证通话音质，实现多个音源的声音在时域上的同步对齐。

技术领域

本申请涉及网络直播音频处理技术，尤其涉及一种网络直播音频处理方法及其相应的装置、计算机设备、计算机可读存储介质，以及计算机程序产品。

背景技术

回声消除常应用于语音通信中，通过自适应滤波算法估计回声路径的传递函数，通过传递函数对参考信号滤波，达到去除回声的效果。在通信双方双讲的情况下，参考信号和采集信号的线性关系被破坏，影响自适应滤波器系数的收敛，此时通过自适应滤波去估计回声路径会导致失真，进而回声消除后的语音信号出现掉字、卡顿、漏回声等情况。

网络直播场景中，存在多个音源。主播在本地播放背景音乐，并将音乐推流给观众端，若此场景下主播与观众进行连线，与此同时主播端还会拉流播放连线观众的声音。上述场景处理流程如图1所示，其中虚线框“拉流”表示在连线时才会执行。

现有技术中，回声消除原理如图2所示，在回声消除过程中会将本地播放的声音作为参考信号，由于音乐信号的连续性，本地会持续播放，因此无论是否存在向连线观众拉流的情况，只要主播端一说话，便形成双讲。由于双讲的频繁发生，回声消除后主播用户的声音会出现掉字、漏回声等情况。

图3是借助现有技术进行回声消除所获得的实测效果示意图，该图自上而下为主播信号、音乐信号、采集信号、回声消除信号相对应的波形图，其中，“采集信号”为终端设备采集到的主播说话信号和本地播放音乐信号经过房间反射后回声的混合，“回声消除信号”是以播放音乐信号为参考信号，对“采集信号”进行回声消除后的信号。从“采集信号”能够明显看出，当主播端说话产生“主播信号”时，采集信号一直处于双讲状态中。通过对比“主播信号”和“回声消除信号”，能够看出信号损失很多，最明显的是出现了掉字，从而导致听起来卡顿。另外，在“回声消除信号”中也会出现漏回声，主要体现在其中时域上4秒位置处。

有鉴于此，需要采用新的技术方案，克服网络直播过程中主播端本地播放音乐并推流的场景下频繁出现双讲导致出现丢字、卡顿和漏回声的问题。

发明内容

本申请的首要目的在于解决上述问题至少之一而提供一种网络直播音频处理方法及其相应的装置、计算机设备、计算机可读存储介质、计算机程序产品。

为满足本申请的各个目的，本申请采用如下技术方案：

适应本申请的目的之一而提供的一种网络直播音频处理方法，包括如下步骤：

获取直播间连线状态中的远端音频数据，将其与本机音频数据混音为外放音频数据后播放；

以所述远端音频数据为参考信号对本机采集的实时音频数据进行回声消除，获得中间音频数据，其中消除了远端音频数据的回声信号而保留本机音频数据的回声信号；

将所述本机音频数据叠加本机环回延迟值后与所述中间音频数据混音，获得混音音频数据；

向所述直播间推送包含所述混音音频数据的直播流。

深化的实施例中，获取直播间连线状态中的远端音频数据，将其与本机音频数据混音后播放，包括如下步骤：

获取直播间连线状态中由服务器推送的远端直播流；

从所述远端直播流中提取出其中的远端音频数据；