[发明专利]用于实时探测及跟踪多个观察者眼睛的方法和电路布置

说明书

技术领域

本发明涉及一种用于在实时模式下非接触探测及跟踪多个观察者眼睛位置或瞳孔的方法和电路布置。

输入数据包含数字视频帧序列形式的图像材料，上述数字视频帧序列由一个或多个图像传感器获取。

多个观察者眼睛的参考点可以无需任何附加的辅助装置，例如眼镜、头帽或聚光灯等，而加以确定。

不同于静止应用，例如对驾驶员或飞行员进行监控，在该情形下运动范围、尤其是纵深范围非常有限，因而几乎是静止的，本发明用于在大目标区域中探测眼睛位置，其处理观察者的快速移动，并且其在相对较大的范围内、例如0.5到3.5m之间确定纵深坐标。

眼睛探测的有效和精确实时实现是主要的人机界面。本发明的主要应用领域是探测及跟踪自动立体显示器(auostereoscopic display)使用者眼睛位置的装置。这种显示器无需任何辅助装置、例如偏振眼镜，向观察者提供立体图像效果。本发明的其它应用包含例如在人、脸部或观察方向探测领域中的视频全息术以及设备。

自动立体显示器在较大的可视区域中向多个观察者提供极大的机动性，其中图形由所谓的跟踪装置跟踪。

对眼睛、眼睛位置或瞳孔的无差错探测和跟踪也是这些图像表示领域的重要人机界面。

观察者通常不会注意到工作可靠且无差错的跟踪装置。然而，在许多应用中，跟踪系统的差错导致不期望的不良影响，例如，在3D应用中，

观察者通常不会注意到工作可靠且无差错的跟踪装置。然而，在许多应用中，跟踪系统的差错导致不期望的不良影响，例如，在3D应用中，其引起不合格的重建或串扰。跟踪装置需要具有极高的精度、可靠性和准确度。该系统还必须足够有效和精确，以能够正确跟踪所有的主要移动和允许观察者在所有三维空间中尽可能地自由移动。

背景技术

市场上可购得多种类型的非接触跟踪系统。简单的模型通常的特征是用于标准操作系统的基础应用软件和标准化的硬件及软件界面。

Zhiwei Zhu Qiang Ji的公布号为WO 03/079902 A1、名称为“不同光照条件下的实时眼睛探测及跟踪(Real-time eye detection and trackingunder various light conditions)”的专利文件公开了一种用于非接触实时眼睛探测的方法，其主要包含眼睛位置探测步骤和眼睛跟踪步骤。眼睛位置探测步骤包括主动照明方法和模式识别的组合。首次探测观察者眼睛之后进行眼睛的跟踪，后一步骤包含多种算法和技术的组合和综合。除了多种方法的组合和综合之外，还存在以下问题：不能实时跟踪头部在所有三维空间中的主要突然移动，由于位置数据的提供和图像获取之间的延迟而可能会阻碍实时处理。这尤其用于不利环境条件下在纵深维度上的眼睛位置探测。

例如，在车辆中，驾驶员的脸部往往处于距仪表板可预知的距离内。此外，在垂直和水平方向上的移动仅有微小的变化。具体说，纵深维度上运动的实际范围非常小，因此纵深范围通常可以在足够高的精度下进行推算，即使仅使用一个照相机。

本发明的目的在于在观察空间的所有三维空间中提供较大运动范围，同时提供较短的计算时间。不同于上述公知技术，其需要在所有三维空间，包括纵深维度中探测眼睛。纵深范围最好应该包含从0.5到3.5米的大范围。为了确定纵深，一方面需要多个独立设置的照相机，用以能够从不同透视角度获取目标区域的图像。此外，探测长达数米距离上的眼睛需要照相机具有极高的分辨率，这就导致每个照相机和每个视频帧的大量数据。

当需要探测多个观察者时，实时处理大量数据的问题就变得更加严重。具体说，为了能够探测因照明影响、反射或眼镜片而难以分辨的观察者，需要非常计算密集的处理步骤。经验表明，探测部分被遮挡或站在旁边的的三分之一或四分之一的人往往仅能用大量、耗时的计算工作量完成。然而，对瞬时至少容易探测和仅用极大工作量才能探测的观察者所需的计算工作量不能不利地影响对其它观察者的实时跟踪。

探测眼睛位置所带来的问题导致输入视频帧不能再在实时模式下永久地处理。如果眼镜片或耳机盖住了眼睛，或者观察者从照相机中突然、但仅片刻离开，每个人和每帧的最大可接受计算时间可能会超出。