[发明专利]视频会议中的对话方法及多点控制单元

说明书

技术领域

本发明涉及视频会议技术领域，具体涉及视频会议中的对话方法及多点控制单元(MCU，Multi-Point Control Unit)。

背景技术

为便于理解，首先给出如下概念说明：

视频会议：集视频、音频、数据通信于一体的会议，可实时传输各个会场的图像和声音，使得各个会场从逻辑上处于一个会议中，但是物理上不在一个区域内；与传统会议相比，可节省大量开支而不影响会议的质量。

会场终端：多媒体通信设备类型之一，具有一个系统控制单元、H.225.0层、网络接口和一个音频编解码器单元，一般还有视频编解码器单元和用户数据应用。

MCU：视频会议中的核心设备，主要负责与会场终端或其它MCU之间的信令的处理和码流的转发或处理。

多画面：在MCU上选择多个会场图像，按照某种分屏模式拼接出一个画面，使会议中终端可以在一个显示器上就看到多个会场的画面。

视频会议系统通过网络通信技术实现虚拟会议，将地理上分散的用户聚集在一处，通过图像、声音等多种方式交流信息，开展协同工作。视频会议在最大程度上缩短了空间距离，方便了协作成员之间实时、直观的交流。这一会议模式得到了越来越普遍的应用。

通常情况下，整个会议按照预先定义的流程进行，在同一时刻所有会场均观看某一特定会场图像，听取该会场的声音。整个会议的流程由在MCU侧的管理人员或者主席会场进行操作控制，根据议程或需要切换不同的会场在会议中广播。

目前视频会议中，最主要有两种应用，一种是演讲，这种情况下，由于是单方向的发送，接收方一般感觉不到延时；另外一种是对话，此时有两个会场互相说话，这种情况下如果延时较大，则对通话的影响很大。

当会议中有两人对话时，MCU一般做如下处理：

1、对于视频：接收两个会场的画面，对画面进行解码后拼接成二分屏，对二分屏编码后发送给所有会场；

2、对于音频：接收所有会场的声音，进行能量估计，获取音量最大的几路比如：4路，对获取的声音依次进行解码、混音、编码处理，然后发送给所有会场。

在现有方案中，多画面的拼接步骤需要完成解码、拼接、编码3个主要步骤，另外还包括各步骤的缓冲、延时处理，一般情况下，会引入100～200ms的延时。同时，由于音频需要能量估计、解码、混音、编码，一般也会引入60～150ms的延时，而由于需要唇音同步，音频会增加延时，以与视频保持一致。因此，A和B交互时，A到B的声音在MCU上有延时，B听到后答复A又有延时，这样在终端本身有延时的情况下，增加的延时就会让A和B发现，自己讲话完了都需要停顿一下，对方的声音才回来，同时，A+B的混音发送给其它会场，其它会场也会发现对话不连续，中间有停顿。

图1给出了一个视频会议的对话示意图，如图1所示，该会议中有3个会场：会场1、2、3，其中，会场1、2之间对话。假设MCU与各会场之间的音频包传输延时为150ms，混音器对音频包进行先解码后编码、混音处理耗时150ms，则以音频包为例，会场1、2之间的对话过程如图2所示：

步骤01：会场1讲话，会场1发送音频包1给MCU，MCU接收音频包1，此步骤延时150ms。

步骤02：MCU对音频包1先解码后编码、混音，此步骤延时150ms。

步骤03：MCU将混音后的音频包1发送给会场2和会场3，会场2和会场3接收音频包1，此步骤延时150ms；此时会场2听到会场1的声音，会场2讲话。

步骤04：音频包2从会场2发送给MCU，MCU接收音频包2，此步骤延时150ms。

步骤05：MCU对音频包2先解码后编码、混音，此步骤延时150ms。

步骤06：MCU将混音后的音频包2发送给会场1和会场3，会场1和会场3接收音频包2，此步骤延时150ms；此时会场1听到会场2的答复。

从图2可以看出，从会场1说完到会场1听到会场2的答复，中间停顿了900ms；而会场3在听到会场1说完后到听到会场2的答复，中间停顿了450ms。

发明内容

本发明提供视频会议中的对话方法及装置，以降低视频会议对话过程中的延时。

本发明的技术方案是这样实现的：

一种视频会议中的对话方法，其中，第一会场与第二会场对话，该方法包括：