[发明专利]凝视跟踪的方法

说明书

一种凝视跟踪的方法，其在需要有限的处理器接合和减小功率两者的同时，达到高效能，以便特别地但非专门地适合活动使用。方法包括：通过相机获得面孔的数字视频流，其中在空间域的对应框盒中识别眼睛和/或瞳孔，空间域的大小是相对于相机的面孔位置和方位的函数，框盒的内容是用于进一步计算的输入；将框盒的内容转换到频域；在转换到频域的框盒上施加一个或多个稀疏区段，一起覆盖定转换到频域的框盒区域的一小部分和滤波内核，至少部分地重叠稀疏区段；执行每个稀疏区段内的频率数据和内核之间的相乘，将结果结合于每个稀疏区段的单一值中；并且为每个帧重复获得单一值的以上步骤，单一值的波动表示沿着时间的凝视方向的变化。

技术领域

本发明涉及一种凝视跟踪的方法，易于建立在不同的设备中，诸如智能手机、平板电脑、个人计算机、电视屏幕，或在凝视可以用于控制任何一种诸如车辆等的设备的操作的任何环境中。一般来说，凝视跟踪的本方法针对应用于互动接口和操作系统。

此外，本发明涉及一种操作装置的方法，该装置设有产生视频流的至少一个数字相机，以获得当面孔通过该装置的相机和处理器而被采集到视频流中时的凝视跟踪。

背景技术

目前使用凝视模式的分析的研究和产品主要在受控的实验室类型的情况中实施。

例如，很多研究被完成，以确定的网站布局的效果：具有受试者及其已知问题的这种受控的测试致使这些受试者意识到正在进行测试，从而改变他们的行为并影响期望来自实验的结果的类型。

当前的凝视跟踪解决方案主要使用红外线的投射进行操作，其创建眼睛内部和上面的反射，通过诸如二进制检测(blob detection)之类的算法进行检测。闪烁的数量可以随着红外线的额外来源来增加，以改善追踪并允许头部移动的一些公差。

使用红外线的凝视跟踪通常需要远程设置，其中相机进一步远离用户安装，通常在屏幕下方。它要求红外线照明的光源放在当看着屏幕的四个角时闪烁都清晰可见的位置。

使用凝视跟踪用红外线的解决方案需要一些红外线投射以具有头部的相对于相机的合理移动框盒。即使创建较大的框盒，照明条件的任何改变将意味着需要重新校准。

不使用红外线反射的解决方案主要基于使用面孔的特征的识别和跟随，通过诸如所谓的主动外观(Active Appearance)模型之类的方法的头部追踪。然而，用于定向输入的头部方位追踪的使用不是与凝视跟踪相同的东西，这只是眼睛方向的跟随，不管头部的移动如何。

另外的已知方法使用眼睛凝视最大位置的分类，识别眼睛在上/下/左/右方位之间的差异；这种解决方案仅可用来识别上下或左右卷动方向，真正不同于准确凝视跟踪的某种东西。

不使用红外线的方法试图常常使用立体视觉来提高准确度，这在任何情况下仍是有限的，但使硬件更复杂。

用于凝视跟踪的其它非红外线方法实质上基于诸如眉毛、下巴、瞳孔、眼睛的角、等等的面孔特征的识别。它们必然具有较低的准确度，这源于识别眼睛的角的困难和对光变化和对不同类型的面孔的较低的健壮性。他们还要求全脸是可见的。而且，这种方法的上/下移动的准确度低，因为瞳孔的相对垂直移动小而眼睑位置也将使其本身适应于眼睛移动。

另外，有一些障碍阻止红外线硬件集成在移动装置中。集成使用红外线的凝视跟踪意味着较高的成本和额外的电池耗竭。此外，一般需要高研发成本来创建微型硬件，当前现有技术的硬件仍是太大以致无法集成到移动装置中，特别是因为需要一个以上的红外线来源的合理强大的红外线。

为立体视觉使用额外的视频摄像机的情况也是一样，因为它将增加硬件成本和额外的电池耗竭到移动装置上，使软件解决方案更加合意。

虽然仍未有决定性研究来断定在短距离连续曝光于红外线是否可导致眼睛受损，但是考虑到年幼的孩子更快地变成移动装置用户的事实，当受损通常视为与红外线的曝光时间成比例时，一些使用者每天几个小时，客户可能有担忧。