[发明专利]三维用户界面装置以及三维操作方法

说明书

技术领域

本发明涉及三维用户界面技术。

背景技术

近几年，像3DCG(3D computer graphics)(三维计算机图形)或扩充实境(AR:Augmented Reality)等那样的在计算机上实现三维环境的技术被积极地实用化。AR技术是使虚拟对象或数据重叠地显示在经由智能电话等便携设备的照相机或头戴式显示器(HMD:Head Mount Display)得到的现实世界的对象物上。通过这样的显示技术，用户能够视觉辨认三维影像。在下述专利文献1中，提出了如下技术：使用深度检测相机来进行场景内的用户的识别以及跟踪，根据其结果，使模拟该用户的移动的虚拟形象动画(avatar animation)显示在该场景内。

然而，现状是用于操作用上述那样的技术表现的三维环境的用户界面(UI)是使用二维输入装置实现的。例如，将二维的鼠标操作转换为三维空间的操作。因此，现有的操作三维环境的UI多不能直观地容易理解。

因此，在下述专利文献2中，提出了如下技术：使用具有深度相机的远程遥控器，检测远程遥控器的位置的变化，并基于该变化，触发(trigger)引起基于应用(application)的行为(action)的输入指令。另外，在下述专利文献3中，提出了不需要袖套(arm cover)或手套等附加的装备就能向用户提供自然的三维环境中的人机交互(computer interaction)经验的技术。在该提出的技术中，在与用户相对的位置设置深度相机，将被该深度相机拍摄到的用户和插入了虚拟对象(virtual object)的图像同时显示在显示器上，同时检测该用户与虚拟对象之间的交互。

现有技术文献

专利文献

专利文献1：日本特表2011-515736号公报

专利文献2：日本特表2011-514232号公报

专利文献3：日本专利第4271236号公报

发明内容

发明要解决的课题

根据上述专利文献3中提出的方法，能够使配置在被影像化的现实空间内的虚拟对象通过存在于该影像内的用户的手进行移动。然而，在专利文献3中，丝毫未提到相对于该虚拟对象的具体的操作方法以及除了移动以外的操作方法。

本发明是鉴于上述的情况而完成的，提供一种直观地且易于理解地对被立体地显示的虚拟三维对象进行操作的用户界面技术。

用于解决课题的手段

在本发明的各方式中，为了解决上述课题而分别采用以下的构成。

第一方式的三维用户界面装置具有：三维信息获取部，其从三维传感器获取三维信息；位置计算部，其使用通过该三维信息获取部获取的三维信息来计算与对象者的特定部位有关的三维坐标空间上的三维位置信息；虚拟数据生成部，其生成表示配置在三维坐标空间中的虚拟三维对象的虚拟三维对象数据；状态获取部，其获取上述对象者的该特定部位的状态信息；操作确定部，其基于通过该状态获取部获取的状态信息与上述三维位置信息的变化的组合，从多个规定处理之中确定应当执行的规定处理；对象处理部，其对虚拟三维对象数据实施通过操作确定部确定的规定处理；以及显示处理部，其使与被实施了该规定处理后的虚拟三维对象数据对应的虚拟三维对象显示于显示部中。

本发明的第二方式的三维操作方法，其通过至少一个计算机执行。第二方式的三维操作方法包含：从三维传感器获取三维信息，使用获取的三维信息来计算与对象者的特定部位有关的三维坐标空间上的三维位置信息，生成表示配置于三维坐标空间中的虚拟三维对象的虚拟三维对象数据，获取上述对象者的该特定部位的状态信息，基于获取的状态信息与上述三维位置信息的变化的组合，从多个规定处理之中确定应当执行的规定处理，对虚拟三维对象数据实施所确定的上述规定处理，使与被实施了上述规定处理后的虚拟三维对象数据对应的虚拟三维对象显示在显示部中。

此外，作为本发明的其他方式，可以是使计算机实现上述第1方式所包含的各构成的程序，也可以是记录有这样的程序的计算机能够读取的记录介质。该记录介质包含非暂时的有形的介质。

发明效果

根据上述各方式，能够提供一种直观地且易于理解地操作被立体地显示的虚拟三维对象的用户界面技术。

附图说明

上述目的、以及其它的目的、特征以及优点通过以下所述的优选的实施方式以及附加的以下附图进而得以明确。

图1是概念地表示第1实施方式中的三维用户界面装置(3D-UI装置)的硬件构成例的图。