[发明专利]用于视线校正的设备和方法

说明书

在用户的脸的视频中校正用户的视线。多个模板中的每个模板包括直接看着相机的用户的眼睛的不同图像。仅当脸部跟踪模块处于活动模式中并且当前值在所述用户的脸朝向相机的可能值的范围的受限子范围内时，修改视频的帧以校正所述用户的视线，由此所述用户在经修改的帧中被感知为直接看着相机。

背景技术

常规的通信系统允许诸如个人计算机或移动设备之类的设备的用户通过诸如互联网之类的基于分组的计算机网络来进行语音或视频通话。这样的通信系统包括通过互联网协议的语音(VoIP)系统。这些系统有益于用户，这是因为与常规的固定线路或移动蜂窝网络相比其常常具有显著较低的成本。这对于长距离通信的情况而言尤其如此。为了使用VoIP系统，用户在他们的设备上安装并执行客户端软件。客户端软件建立VoIP连接并且提供诸如注册和用户认证之类的其他功能。除了语音通信之外，客户端还可以建立针对诸如即时消息传送(“IM”)、SMS消息传送、文件传输、屏幕共享、白板会话、和语音邮件之类的其他通信媒体的连接。

装备有相机和显示器的用户设备可以用于与另一用户设备的用户(远端用户)进行视频通话。用户设备的用户(近端用户)的视频是经由他们的相机捕获的。可以由他们的客户端来处理所述视频以对其进行压缩并且将其转化成数据流格式，以用于经由网络传输给远端用户。类似地压缩的视频流可以从远端用户(中的每个)处接收、解压缩、并且在近端用户的设备的显示器上输出。例如，视频流可以经由一个或多个视频中继服务器来发送，或其可以例如经由对等连接而“直接地”发送。可以结合这两种方法，以使得通话的一个或多个流是经由服务器发送的，并且通话的一个或多个其他流是直接地发送的。

发明内容

提供本发明内容用以用简化的形式引入将在下文的具体实施方式中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。

用于校正用户的视线的用户设备包括：输入端，其被配置为从相机接收用户的脸的视频；脸部跟踪模块；以及视线校正模块。所述脸部跟踪模块被配置为在活动跟踪模式中跟踪所述用户的脸的至少一个角坐标，并且输出在可能值的范围内的所述至少一个角坐标的当前值。所述视线校正模块被配置为仅当脸部跟踪模块处于活动模式中并且当前值在所述用户的脸朝向相机的可能值的范围的受限子范围内时，修改视频的帧以校正所述用户的视线，由此用户在经修改的帧中被感知为直接看着相机。

附图说明

为了帮助理解本主题并且示出本主题如何实施，现在将对以下附图进行参考，其中：

图1示出了通信系统的示意性框图；

图2示出了通信客户端的功能模块；

图3A描绘了脸部跟踪器的功能；

图3B示出了具有6个自由度的坐标系统；

图3C示出了用户的脸的角坐标可以如何改变；

图4A示出了视线校正模块的细节；

图4B示出了视线校正机制；

图5示出了在活动跟踪模式中但是接近失败时脸部跟踪器的行为；

图6是动态模板选择的方法的流程图。

具体实施方式

在真实世界中，眼神接触是人与人之间面对面对话的关键方面。各种心理学研究已经证明，在人际沟通期间，当人们能够进行眼神接触时他们更有可能彼此接洽。然而，在视频通话期间，通话参与者通常花费通话的大部分时间看着他们的显示器，这是因为另外的参与者的视频在显示器上可见。这意味着，对该通话的大部分时间而言，他们将不直接看着其相机，并且因此其他参与者将感知到没有与他们进行眼神接触。例如，如果参与者的相机位于其显示器的上方，则他们将被感知为注视着另外的参与者眼睛下方的点。