[发明专利]一种轻量级的多方会议混音方法和装置

说明书

技术领域

本发明涉及多方会议通信领域技术，特别是一种轻量级的多方会议混音方法和装置。

背景技术

多方视频会议系统中，混音是一项重要技术。混音是将多个音频源的音频根据音频叠加原理混合为一路音频输出，使音频的接收者感觉到多人会议交流的效果。

混音可以实现在媒体控制器即服务器端，也可以实现在终端即客户端。

直接在服务器端实现，即客户端把各自的音频数据PCM语音信号通过编码器编码，然后发送给服务器端，服务器先将多个音频源的音频解码，然后根据音频叠加原理混合为一路音频再编码输出，使音频的接收者感觉到多人会议交流的效果。但是由于服务器端需要多路解码，同时最后又要编码，因此计算量和时间复杂度均较大，导致延时也较大。这也就限制了该方案的应用范围。

直接在终端实现混音，即客户端把音频数据PCM语音信号通过编码器编码，发送给服务器端，服务器端将各个终端即客户端的音频，发送到除源端以外的所有终端，各个终端对所有接收到的音频流进行合成。混音的计算压力在各个终端，这种方案会对网络造成更大的压力。一来终端的计算量增大，这对于一些计算能力较弱的移动终端，无法承担混音计算的压力。二来每个终端的语音包都要转发给除源端以外的终端，占用网络带宽资源。

还有一些方案，不需要编码和解码，终端直接把语音包发给服务器端，然后服务器端进行混音。由于终端没有对语音包进行编码就直接发包，严重占用网络带宽。

发明内容

本发明的主要目的在于针对多方会议的实际应用需求，同时兼顾手机等便携小设备的个性特征，提出一种新颖而简单的快速实时的轻量级的多方会议混音方法和装置。

本发明采用如下技术方案：

一种轻量级的多方会议混音方法，其特征在于：1)客户端采用AMR编码器对语音进行编码后得到语音PCM数据及数据长度，对编码后的语音PCM数据采用分帧处理，计算每帧语音能量值，并结合该帧语音能量值及其数据长度来确定该帧为语音帧或非语音帧，从而统计出语音PCM数据中语音帧的概率值；2)服务器端通过接收到的语音概率值选出当前的语音概率值最高的两个发言者的语音流，并根据这两个语音概率值大小决定是否使用叠加原理将选出的最多两路语音流进行混音，最后转发混音后的语音包。

优选的，预先设定：客户端每隔一段时间抓取到一帧语音信号，每帧语音信号包括m个采样值，每个采样值的能量为r_i；设定统计窗口包括连续的n帧语音信号，当前帧的能量相对参考值为E_refer；步骤1)具体包括如下：

1.1)客户端输入语音PCM数据及AMR编码后的输出长度，计算当前帧语音PCM数据的能量值

1.2)判断AMR编码后的当前帧输出长度是否等于31，若是，则记录该帧的能量值，作为语音能量参考值，判定该帧为语音帧并加入统计窗口内，进入步骤1.4)；若否，则记录该帧的能量值，作为非语音能量参考值，进入步骤1.3)；

1.3)判断当前帧能量值是否大于其能量相对参考值E_refer，若是，则判定该帧为语音帧，若否，则判定该帧为非语音帧；加入新的统计窗口内，进入步骤1.4)

1.4)判断统计窗口是否已满，若是，则计算统计窗口内语音帧的占比，表示成0到100的语音概率值；若否，则进入下一帧，跳至步骤1.1)；

优选的，设定当前帧的前n个连续帧的非语音能量参考值的最大值为E_noise，而语音能量参考值的最大值表示为E_voise，则当前帧的能量相对参考值E_refer用如下公式计算：

E_refer＝E_noise+(E_voice-E_noise)/10。

优选的，步骤2)具体如下：

2.1)服务器接收客户端发送过来的语音概率值，选出语音概率值最高的两条语音流F1、F2，其语音概率值分别为P1、P2，P1>P2；

2.2)判断P1>2P2是否成立，若是，则只将P₁对应的语音流输出；若否，则将这两条语音流进行混音后输出。

一种轻量级的多方会议混音装置，包括客户端和服务器，其特征在于：