[发明专利]检测和跟踪图像中的物体

说明书

技术领域

本发明涉及图像处理，更具体地涉及检测图像中的物体。

背景技术

对图像中的物体进行的检测和识别通常涉及图像滤波和图形识别技术。 检测和识别包含成百上千或者成千上百的像素的图像中的物体需要很强的 处理能力，并且可能很费时间。因此，在处理图像以检测和识别图像中的物 体之前减少图像的维数会有帮助。一种已知的减少数据维数的技术是主成分 分析法(PCA)。PCA记载在例如Joliffe I.T.，Principal Componnet Analysis， Springer-Verlag，New York(1986)中。

PCA利用数据组的协方差矩阵的特征值和特征向量作为数据组的可求 值(valueable)特征的代表。

已有很多种方法和机制使得人类能够与计算机交互。计算机图像技术可 以允许计算机检测由照相机捕捉到的图像中的物体。能够检测和识别图像中 的物体的计算机为用户提供了通过用户的手势与计算机交互的能力。

计算机-用户界面可以显示在表面或屏幕上。一个或多个照相机可以监 视该表面或屏幕附近的活动并且捕捉屏幕附近的活动的图像。计算机然后可 以处理这些图像，检测图像中的一个或者多个物体，并发觉用户正在使用手 势与显示在表面或屏幕上的计算机-用户界面交互。

一些系统试图发觉用户在使用手势与显示在表面或屏幕上的计算机-用 户界面交互。这些系统中的一些仅发觉图像中亮度最大的物体，并将该物体 作为手或手指。因此，即使在所述物体既非手也非手指的情况下，这些系统 可能将该物体认作手或手指。

发明内容

为了更为准确地标识图像中的手或手指，从而提高人机交互的能力和效 率，若干公开的系统(1)识别触摸表面或屏幕或在表面或屏幕附近移动的 作为手或手指的物体，并(2)排除未被识别为手或手指的物体。

本发明提供了用于检测和识别触摸表面或屏幕或在表面或屏幕附近移 动的手指的方法和装置。图像被处理以检测手指的出现并跟踪检测到的手指 的位置。手指的位置可被计算机用于例如控制计算机鼠标指示器。所提供的 方法可允许以比使用传统的鼠标及/或键盘更自然的方式进行人机交互。

在一种实现方式中，创建沿一个或多个取向定位的一个或多个手指的模 型。具体而言，利用照相机捕捉一个或多个手指的一组训练图像。应用PCA 技术，创建该组训练图像的模型。确定该组训练图像的协方差矩阵并选择该 协方差矩阵的一定数量的特征向量来定义所述一组训练图像的特征空间。所 述一组训练图像中的每个图像被投影到由选定的协方差矩阵的特征向量定 义的特征空间中。在特征空间中，每个训练图像由单个训练点表示。因此， 将每个训练图像投影到特征空间中可以在特征空间中生成训练点云团。然后 在特征空间中用几何模型(例如表面或线)对训练点云团建模。

然后利用模型来检测、识别和跟踪图像中的手指。在一种系统中，在表 面或屏幕的后方设置照相机和红外(IR)照明器。触摸表面或屏幕或在表面 或屏幕附近移动的手指反射IR照明器投射的部分IR辐射。部分被反射的IR 辐射被照相机捕捉在图像中。然后对该图像进行如下所述的处理，以检测和 识别图像中手指的存在与否及其位置。

所述处理包括从图像中抽取可能是手指的一个或多个物体。每个抽取的 物体被投影到为所述一组训练图像所定义的特征空间中。在特征空间中，所 抽取物体的投影由单个图像点表示。将单个图像点的坐标与训练点云团的模 型比较，以确定该单个图像点是否匹配或接近匹配所述模型。如果单个图像 点匹配或接近匹配模型，则确定该物体是手指。如果确定该物体是手指，则 计算手指相对于屏幕或表面的位置(例如(x，y)坐标)并将其输入例如计算 机和/或软件应用程序。

根据一个概括的方面，确定相应于多维空间中图像点的坐标，该图像点 表征一特定物体。提供描述多维空间中的模型的方程式，该模型表现一个或 多个其它物体的一组训练图像的特征。将所述坐标代入所述方程式以确定图 像点与模型之间的距离，并且基于所确定的距离，确定所述特定物体是否匹 配所述一个或多个其它物体。

上述概括的方面的实现方式可以包括一个或多个其它特征。例如，可以 接收特定物体的图像。该图像可以具有若干数据元素，而所述多维空间的维 数可以小于该数据元素的数量。确定图像点坐标的步骤可以包括将图像投影 到所述多维空间以产生相应于多维空间中的图像点的坐标。