[发明专利]用于使用可缩放视频编码进行可缩放和低延迟视频会议的系统和方法

说明书

相关申请的交叉引用

本申请要求2005年7月20日提交的美国临时专利申请S/N.60/701,108、2005年9月7日提交的美国临时专利申请S/N.60/714,741以及2005年10月4日提交的美国临时专利申请S/N.60/723,392的优先权。此外，本申请涉及共同提交的美国专利申请No.[SVCS系统]、[信息通路(trunk)]和[抖动(jitter)]。所有前述优先权和相关申请通过全文引用而结合于此。

发明领域

本发明涉及多媒体和电信技术。具体地，本发明涉及用于在具有各种接入装置或终端的用户端点之间以及在不均匀的网络链路上进行视频会议的系统和方法。

发明背景

视频会议系统允许两个或多个远程参与方/端点彼此使用音频和视频实时地传送视频和音频。当仅涉及两个远程参与方时，可使用两个端点之间的合适电子网络上的直接通信传输。当涉及多于两个的参与方/端点时，多点会议单元(MCU)或桥接器通常被用于连接到所有参与方/端点。MCU协调可例如以星形配置连接的多个参与方/端点之间的通信。

对于视频会议，参与方/端点或终端配备有合适的编码和解码设备。在发送端点，编码器将本地音频和视频输出格式化成适于在电子通信网落上进行信号传输的经编码形式。相反，在接收端点处，解码器将接收到的具有经编码的音频和视频信息的信号处理成适于音频回放或图像显示的经解码形式。

传统上，最终用户自身的图像也在他/她的屏幕上显示以提供反馈(以确保例如个人在视频窗口中的适当定位)。

在通过通信网络实现的实际的视频会议系统中，远程参与方之间的交互式视频会议的质量取决于端对端信号延迟。大于200ms的端对端延迟阻碍了会议参与方之间的逼真实况转播或自然交互。这种长时间的端对端延迟使得为了让正在传送中的来自其他参与方的视频和音频数据到达自己的端点，会议参与方不自然地抑制自己进行积极的参与或响应。

端对端延迟包括捕获延迟(例如，用以填满数/模转换器的缓冲器的时间)、编码延迟、发送延迟(用以向端点的网络接口控制器提交全包数据的时间)、以及传输延迟(包在通信网络中从端点到端点传播的时间)。另外，通过协调MCU的信号处理时间也构成给定系统中的端对端延迟的一部分。

MCU的主要任务是混合传入音频信号，使得单个音频流被发送给所有参与方，并且将由各个参与方/端点发送的视频帧或画面混合成包括每个参与方的画面的公共组合视频帧流。注意：术语帧和画面在本文中可交换使用，并且此外对于本领域技术人员而言，可结合作为单个场或作为组合帧的交织帧的编码(基于场或基于帧的画面编码)是显而易见的。部署在常规通信网络系统中的MCU仅为混合成分发给视频会议会话中的所有参与方的公共组合视频帧中的所有单个画面提供单一的公共分辨率(例如，CIF或QCIF分辨率)。因而，常规通信网络系统不易于提供参与方可籍此以不同分辨率观看其他参与方的定制视频会议功能。这种期望的功能允许参与方例如以CIF分辨率观看另一特定参与方(例如，正在讲话的参与方)，而以QCIF分辨率观看静默参与方。MCU可被配置成通过将视频混合操作重复与视频会议中参与方的数目一样多的次数来提供该期望的功能。然而，在这种配置中，MCU操作引入了相当地非期望的端对端延迟。此外，MCU必需具有充分的数字信号处理能力来解码多个音频流、混合和重编码它们、以及还解码多个视频流、将它们组合成单个帧(按需使用适当的缩放)和再次将它们重编码成单个流。视频会议解决方案(诸如由加州(94588)普莱森顿的Willow路4750号的泊立康目(Polycom)公司和纽约州(10166)纽约的Park大道200号的坦得勃格(Tandberg)商业销售的系统)必须使用专用硬件组件来提供可接受的质量和性能水平。