[发明专利]操作显示设备的方法、信息处理系统及非暂时性存储介质

说明书

操作显示设备的方法、信息处理系统及非暂时性存储介质。一种方法跟踪摄像头的视野中的对象的姿态；使用传感器数据和图像数据中的至少一方来导出显示设备的移动或视野中的移动；使用处理器确定导出的移动是否超过第一阈值；如果导出的移动超过第一阈值，则继续跟踪对象的姿态；如果移动没有超过第一阈值，则：(1)停止跟踪对象的姿态，以及(2)使用显示器显示基于对象的先前导出的姿态的图像。

技术领域

本发明的实施方式涉及一种信息处理装置的技术，该信息处理装置使用摄像头和运动传感器(例如，惯性传感器)处理关于目标对象的信息。

背景技术

JP-A-2013-50947中公开了估计由摄像头成像的对象的姿态的方法，其公开了一种技术，其中创建包括对象的图像的输入图像的二元掩模，从二元掩模提取作为对象的内轮廓和外轮廓中的点的单体(singlet)，并且将单体的集合彼此连接，以形成表示为双矩阵的网格，从而估计对象的姿态。

然而，诸如JP-A-2013-50947的现有技术仅使用摄像头来估计姿态。然而，摄像头具有延迟，该延迟随着用户头部的运动或速度的增加而增加。这些系统还连续进行姿态估计，这会消耗功率。

发明内容

本申请的实施方式公开了具有摄像头的系统，以及具有摄像头和运动传感器的系统。组合的摄像头和运动传感器的实施方式减少了延迟并提高了系统的效率。某些实施方式通过中断对象跟踪来实现功耗的降低，从而减少处理器负荷。这种节能对于可能依赖电池电源的头戴式显示装置尤其有利。

本发明的一些方面的优点是解决上述问题中的至少一部分，并且本发明的方面可以实现为以下方面。

根据本发明的方面，提供了用于操作具有显示器、摄像头和惯性传感器的显示设备的方法、系统和计算机可读介质。所述方法、系统和计算机可读介质被配置用于：(a)跟踪摄像头的视野中的对象的姿态，所述跟踪包括重复地：(1)使用处理器，使用由摄像头获取的图像数据和由惯性传感器获取的传感器数据中的至少一方导出所述对象相对于所述显示设备的姿态，以及(2)使用显示器显示基于对象的导出的姿态的图像；(b)使用处理器，使用传感器数据和图像数据中的至少一方来导出显示设备的移动或视野中的移动；(c)使用处理器确定导出的移动是否超过第一阈值；(d)如果导出的移动超过第一阈值，则继续步骤(a)中的跟踪对象的姿态的处理；以及(e)如果移动未超过第一阈值，则：(1)停止步骤(a)中的跟踪对象的姿态的处理；以及(2)使用显示器显示基于对象的先前导出的姿态的图像。

本发明可以在除了信息处理装置以外的形式方面实现。例如，本发明可以以诸如头戴式显示器、显示装置、用于信息处理装置和显示装置的控制方法、信息处理系统、用于实现信息处理装置的功能的计算机程序、在其上记录计算机程序的记录介质以及包括计算机程序并以载波具体实现的数据信号的形式实现。

附图说明

将参考附图描述本发明的方面，其中，同样的附图标记引用同样的元件。

图1是例示出在本实施方式中作为信息处理装置的个人计算机的功能配置的框图。

图2是例示出由模板创建器执行的模板创建过程的流程图。

图3是用于说明通过使用式(1)计算出的表示用于三维模型的目标对象的二维中的N个点的集合的图。

图4(A)至图4(C)是例示出3D CAD、2D模型和基于2D模型创建的3D模型之间的关系的示意图。

图5是例示出通过使用模板优化成像的目标对象的姿态的头戴式显示器(HMD)的外部配置的图。

图6是功能性地例示出在本实施方式中的HMD的配置的框图。

图7是例示出估计目标对象的姿态的过程的流程图。

图8是例示出单个模型点可以与多个图像点组合的图。