[发明专利]用于多流多站点远程呈现会议系统的自动视频布局

说明书

技术领域

本发明一般而言涉及视频会议系统，更具体而言，涉及多流、多站点会议系统。

背景技术

视频会议需要在至少两个参与者之间交换音频、视频，及其他信息。一般而言，每一参与者位置处的视频会议端点将包括用于捕捉本地参与者的图像的摄像机以及用于显示远程参与者的图像的显示设备。视频会议端点也可以包括额外的用于显示数字内容的显示设备。在两个以上的端点参与视频会议会话的情况下，可以使用多点控制单元(MCU)作为会议控制实体。MCU和端点通常通过通信网络进行通信，MCU从端点接收并向端点传输视频、音频，以及数据信道。

远程呈现技术向参与者提供增强的视频会议体验，以便近端参与者感觉好象他们与远端参与者在同一个房间。可以提供用于各种会议系统的远程呈现视频会议，从两个人的点对点视频会议系统到多参与者多点视频会议系统。通常，远程呈现使用多个摄像机来捕捉近端参与者的图像，并使用多个显示器来显示远端参与者的图像。多个视频流被从多个端点传输到MCU以合并到一个或多个经组合的视频流，这些视频流被发回端点以显示在多个显示设备上。例如，在涉及三个端点的远程呈现系统中，每一端点都具有三个摄像机，MCU将接收九个视频流。MCU必须将九个接收到的视频流组合为一个或多个经组合的视频流，这些经组合的视频流被发回以显示在每一端点上的显示设备上。这九个视频流必须基于每一端点上的显示器的数量和类型，为每一个端点展示。此外，虽然MCU可以从端点接收当前发言者位于该端点上的信息，从每一端点接收到一个以上的视频流，但是，MCU可能不能确定多个视频流中的哪一个包括当前发言者。如此，动态地选择从端点接收到的许多视频流中的一个来突出显示可能是困难的。

传统上，对于多点和多流视频会议系统，被发送到每一端点的视频流的排列是手动执行的。例如，视频网络操作中心(也称为VNOC)，提供对远程呈现视频会议的手动管理，包括适当地将传入的视频流布置为经组合的传出视频流。在VNOC处管理视频会议的人员监测当前发言者的视频流，然后，手动排列布局，以便具有当前发言者的视频流突出地显示在每一端点上的显示屏幕上。突出地显示当前发言者的图像可以涉及操纵被显示的视频流的比例和大小。再者，管理视频会议的人员也将手动执行缩放过程。然而，对VNOC的手动管理会受到人为错误和延迟的危害。另外，使用操作员以及提供对于操作设备的必需的专业训练是非常昂贵的。

概括地说，传统方法被视频流的静态布局排列(或者如果需要动态布局排列，使用易于出错的手动控制的必要性)危害。

发明内容

公开了自动生成视频流的布局以向视频会议端点呈现的连续的呈现、远程呈现、视频会议MCU。视频会议端点可包括耦合到处理器的两个或更多摄像机，至少一个显示设备。处理器可包括用于编码供传输的视频和音频流和解码接收到的视频和音频流的编解码器。处理器也可以包括用于将属性指定到传出流的流属性模块。端点也可以包括用于从多个参与者中确定当前发言者的位置的发言者定位器。然后，处理器可以确定捕捉当前发言者的摄像机。随后，处理器可以指示属性模块将属性添加到由该摄像机所生成的视频流中，该属性当由MCU或另一个端点检查时可以指出相关联的视频流包括当前发言者的图像。

属性模块可以将各种属性指定到单个视频流。一些属性可以是基于位置的，指定作为视频流的源的摄像机的位置。例如，基于位置的属性可包括“FR”(远右)、“CL”(中左)等等。一些属性可以是基于角色的，指定视频流中所包括的参与者的角色。例如，基于角色的属性可包括“人”、“内容”等等。基于角色的属性可以具有层次分类，诸如，“人/观众”、“人/演示者”等等。可以给视频流指定一个以上的属性。例如，还包括当前发言者的图像的由远右摄像机捕捉到的视频流可以具有属性“FR”和“发言者”。作为另一个示例，具有基于角色的属性“人/观众”的视频流也可以具有“发言者”属性，如果观众成员中的一个也是当前发言者。

MCU可包括布局管理器和混合器。布局管理器基于传入的视频流的属性和与每一端点相关联的配置信息来生成发送到每一端点的视频流的布局。这样的配置信息可包括，例如，显示屏幕的数量、每一显示屏幕的纵横比，专用的发言者显示屏幕等等。混合器可以基于由布局管理器确定的布局来组合视频流。可以将经组合的流传输到适当的端点。布局管理器监测每一传入的视频流的属性的任何变化，传入的视频流的数量，每一端点的配置信息等等，并基于这些变化，动态地改变布局。

附图说明