[发明专利]多相机场景会议室中发言者重新识别的系统和方法

说明书

本申请公开了多相机场景会议室中发言者重新识别的系统和方法。在多相机视频会议配置中，每个相机的位置是已知的。通过参考对每个相机可见的已知对象，开发3D坐标系，其中每个相机的方位和角度与该3D坐标系相关联。针对每个相机确定会议参与者在3D坐标系中的位置。来自一个相机(通常是中央相机)的声音源定位(SSL)用于确定发言者。然后确定发言者的姿势。根据姿势和相机的已知位置，确定具有发言者的最佳正面视图的相机。然后使用发言者的3D坐标来引导所确定的相机框选发言者。如果发言者的面部不够可见，则确定下一个最佳相机视图，并且从该相机视图框选发言者。

技术领域

本公开总体涉及一种视频会议中的相机选择。

背景技术

用于视频会议的会议室的最常见的配置具有与位于室的一端的监视器或电视相邻的单个相机。这种配置的一个缺点是，如果发言者在讲话时正在看会议室中的其他人，则发言者不面向相机。这意味着远端只能看到发言者的侧视图，因此发言者似乎没有在对远端发言。

已经努力通过在会议室中提供多个相机来解决这个问题。这个想法是让相机指向不同的方向，并且然后选择提供发言者的最佳视图的相机，优选地缩放和框选发言者。这些努力改善了发言者的视图，但仅限于单个个人场景，这通常不是问题，因为发言者通常将看向监视器，并且因此看向单个相机。如果多个人存在于会议室中并且在各个相机视图中可见，那么这些努力没有提供好的结果。

附图说明

为了图示，在附图中示出了本公开中描述的某些示例。在附图中，相同的数字自始至终指示相同的元件。本文公开的本发明的全部范围不限于所示的精确布置、尺寸和器械。在附图中：

图1是包含三个相机、监视器和桌子和椅子的会议室的图示。

图2、图3是图1的会议室的图示，具有不同的个人，其中一个人发言。

图4是根据本公开的示例的编码解码器和相机之间的操作划分的图示。

图5A是根据本公开的示例的相关坐标系的图示。

图5B是相机到图5A的坐标系的投影的图示。

图6是根据本公开的示例的视频会议系统的安装的流程图。

图7是根据本公开示例的图4的最佳相机选择步骤的操作的流程图。

图8是根据本公开的示例的图6的正面视图相机选择和框选确定步骤的操作的流程图。

图9是根据本公开的示例的在姿势确定和姿势匹配步骤中使用的关键点的图示。

图10是根据本公开的示例的编码解码器的框图。

图11是根据本公开的示例的相机的框图。

图12是图9和图10的处理器单元的框图。

图13是根据本公开的示例的相机的前视图的图示。

具体实施方式

在多相机视频会议配置中，每个相机的位置是已知的。通过参考对每个相机可见的已知对象，开发3D坐标系，其中每个相机的方位和角度与该3D坐标系相关联。针对每个相机确定会议参与者在3D坐标系中的位置。来自一个相机(通常是中央相机)的声音源定位(SSL)用于确定发言者。然后确定发言者的姿势。根据姿势和相机的已知位置，确定具有发言者的最佳正面视图的相机。然后使用发言者的3D坐标来引导所确定的相机框选发言者。如果发言者的面部不够可见，则确定下一个最佳相机视图，并且从该相机视图框选发言者。

在本文的附图和附图的描述中，某些术语仅是为了方便而使用的，不应被视为限制本公开的示例。在附图和下面的描述中，相同的数字自始至终指示相同的元件。

在整个本公开中，以与本领域技术人员使用的方式一致的方式使用术语，例如：