[发明专利]信息输入设备、信息输入方法

说明书

技术领域

本公开涉及用于向要控制的设备输入由用户发出的控制命令的信息输入设备、信息输入方法和计算机程序。具体地讲，本公开涉及一种用于输入例如手势的由用户发出的控制命令的信息输入设备、信息输入方法和计算机程序。

背景技术

在人所生活的环境中，存在诸如家用电器和信息装置的由用户进行控制的各种类型的产品。已经存在被构造为使用诸如激光笔或遥控器的装置来远程控制这些类型的设备的技术。

例如，已经提出了遥控位置通知系统(例如，参见日本未审专利申请公布No.2008-224584)和指向系统(例如，参见日本未审专利申请公布No.2009-301564)等等，该遥控位置通知系统能够向用户通知遥控的位置；当用户用手挥动从其中心发射高亮度扩散光束的指向装置时，该指向系统使用多个光接收传感器检测该指向装置的位置，并且在垂直或水平地移动指针的同时根据手的运动在屏幕上显示指针。然而，在这些相关技术中，用户必须用他或她的手指操作用于产生用于检测手指的位置或姿势的信号的特定装置，例如，遥控器。

还提出了遥控器(例如，参见日本未审专利申请公布No.2010-79332)，所述遥控器被构造为拍摄正在操作用于显示操作按钮或菜单的操作显示装置的操作者的图像，并且基于从拍摄的图像检测的手区域的形状和运动以及操作显示装置上的显示来检测用户执行的操作。这个相关技术能够使用用户的手指的轮廓来识别他或她的姿势。然而，由于这个技术仅仅使用二维轮廓信息，所以难以稳定地识别姿势，除非手指的姿势对于相机是适当的。由于这个原因，用户必须意识到相机的位置。 这对执行操作的用户的姿势施加了很大的限制。当观测手指的形状的方向等发生变化时，手指的轮廓明显变化。因此，当根据轮廓识别姿势时，取决于观测方向，识别结果变得不稳定。

还提出了图像识别设备（例如，参见日本未审专利申请公布No.2010-15553），所述图像识别设备三维地读取操作者相对于虚拟操作表面的运动，基于操作者的一部分与虚拟操作表面之间的位置关系来确定该运动是否是操作，并且当操作者在基于这个位置关系定义的两个或更多虚拟操作层的任何一个中进行运动时，基于事先向这个虚拟操作层分配的操作类型和操作者在这个虚拟操作层中的运动来确定操作的细节。这些图像识别设备使用图像特征值，三维地跟踪用户的手指。然而，例如，当照明条件急剧变化时，难以在图像的多个帧之间稳定地匹配和跟踪特征点。因此，该图像识别设备看起来识别稳定性低。另外，尽管这些图像识别设备可以测量手指的特征点的三维位置，但是它们不能够检测手指自身的姿势。另外，由于这些图像识别设备识别在相对于相机的位置处的用户，所以用户必须意识到相机的位置。另外，为了使用户可以执行直观操作，必须基于相机与屏幕之间的相对位置关系来确定相机的位置。因此，选择的自由度低。

还提出了人运动确定设备（例如，参见日本未审专利申请公布No.2012-3364），该人运动确定设备被构造为使用正在执行预定运动的人的拍摄图像并且还使用关于拍摄的图像的深度的信息来确定人的运动，从拍摄的图像提取特征点来计算三维特征值，跟踪这个三维特征值以计算四维轨迹特征值，并且使用该四维轨迹特征值针对每个单位跟踪时间确定运动。然而，为了向这些设备输入操作，用户必须在与由标记指示的位置关联的虚拟操作表面上执行操作。因此，对正执行操作的用户的位置或姿势施加了限制。

发明内容

期望提供能够基于由用户执行的直观运动（例如，手势）向要控制的设备输入控制命令的优良的信息输入设备、信息输入方法和计算 机程序。

根据本发明的一个实施例，提供了一种信息输入设备。该信息输入设备包括：观测单元，被构造为观测包括用户以及一个或多个要控制的设备的环境，该观测单元包括传感器；学习单元，被构造为根据由观测单元获得的观测数据，分离前景和背景，并且学习前景和背景的三维模型，前景包括用户以及所述一个或多个要控制的设备，背景包括除前景外的环境；状态估计单元，被构造为估计所述环境中已经建模的前景的位置和姿势；用户识别单元，被构造为从前景识别用户的手指并且识别手指的形状、位置和姿势；以及设备控制单元，被构造为基于由用户识别单元识别的手指的形状、位置和姿势，向所述一个或多个要控制的设备输出控制命令。

在根据本公开的实施例的信息输入设备中，观测单元可以获得环境的距离图像，学习单元可以从距离图像分离前景和背景并且学习前景和背景的三维模型。

在根据本公开的实施例的信息输入设备中，学习单元可以在用户实际控制或操作要控制的期望设备之前，事先构建要控制的期望设备的三维模型。