[发明专利]视频会议的水平凝视估计

说明书

技术领域

本公开涉及视频会议，更具体而言涉及确定视频会议会话中涉及的人的水平凝视(horizontal gaze)。

背景技术

视频会议系统中的脸部检测有许多应用。例如，可通过在视频编码过程中向脸部区域给予优先来提高在给定的比特率预算下解码后视频的感知质量。然而，单是脸部检测技术并不能提供关于人的水平凝视的任何指示。人的水平凝视可用于确定在视频会议会话期间“谁正在看着谁”。

迄今为止已知的凝视估计技术一般是被开发来帮助人类-计算机交互的。结果，它们通常依赖于准确的眼睛跟踪，这种眼睛跟踪或者使用专门的大范围硬件来跟踪眼睛的光学现象，或者涉及计算机视觉技术来将眼睛与抽象模型相映射。由于准确的眼球定位和跟踪检测的困难性和这些过程所要求的计算复杂度，眼睛映射技术的性能一般是较差的。

因此，希望有用于实时估计视频会议会话中涉及的一个或多个人的水平凝视的技术。

附图说明

图1是示出了多人网真(telepresence)视频会议系统配置的示图，其中得出参与的人的水平凝视以确定该人正在看着谁。

图2和3是示出从其估计水平凝视的头部区域内的耳-鼻-嘴(ENM)子区域的示例的示图。

图4是概括示出对其进行检测和跟踪并从其估计水平凝视的头部区域内的ENM子区域的尺寸和位置的示图。

图5是被配置为确定人的水平凝视的网真视频会议系统的框图。

图6是被配置为估计人的水平凝视的控制器的框图。

图7是示出水平凝视估计过程的逻辑的流程图的示例。

图8是示出计算头部区域内的ENM子区域的尺寸和位置的过程的逻辑的流程图的示例。

具体实施方式

概述

这里描述了从视频信号确定人的水平凝视的技术，该视频信号是通过利用至少一个视频相机观看该人来生成的。从该视频信号中，检测和跟踪该人的头部区域。还从该视频信号中检测和跟踪头部区域内的子区域的尺寸和位置。根据子区域在头部区域内的相对位置来计算该人的水平凝视的估计。

首先参考图1，在标号5概括示出了网真视频会议系统。“网真”系统是系统端点之间的高保真视频(带有音频)会议系统。从而，系统5包括至少第一和第二端点100(1)和100(2)，其中一个或多个人可参与网真会话。例如，在端点100(1)处，有分别被表示为A、B、C、D、E和F的人的群组20的桌子10周围的位置。类似地，在端点100(2)处，有分别被表示为G、H、I、J、K和L的人的群组30的桌子25周围的位置。

端点100(1)包括在110(1)示出的视频相机集群和由被配置为显示相应的人的图像的多个显示面板(区段或区块)构成的显示器120(1)。端点100(2)包括类似配置的视频相机集群110(2)和显示器120(2)。每个视频相机集群110(1)和110(2)可包括一个或多个视频相机。视频相机集群110(1)被配置为将端点100(1)处的群组20中的参与的人A-E中的每一个捕捉到一个视频信号或若干个个体视频信号中，并且视频相机集群110(2)被配置为将端点100(2)处的群组30中的参与的人G-L中的每一个捕捉到一个视频信号或若干个个体视频信号中。例如，(在每个视频相机集群中)可能有一个单独的视频相机指向桌子周围的相应的人的位置。图1中出于简明原因而没有示出的是提供了适当定位的麦克风以便在每个端点处捕捉人的音频。

如上所述，显示器120(1)包括多个显示区块或面板，这些显示区块或面板被配置为在各个显示区块中显示相应的人的视频图像，更具体而言是显示端点100(2)处的群组30中的相应的人的视频图像。从而，显示器120(1)包括个体显示区块，用以显示人G-L的相应视频图像(以虚影示出)，这些视频图像是从端点100(2)处的视频相机集群110(2)所生成的视频信号输出得出的。类似地，显示器120(2)包括个体显示区块，用以显示人A-G的相应视频图像(以虚影示出)，这些视频图像是从端点100(1)处的视频相机集群110(1)所生成的视频信号输出得出的。