[发明专利]基于感兴趣区实现辅助信息提示的人机接口设备及方法

权利要求书

1.基于感兴趣区实现辅助信息提示的人机接口设备，其特征在于它包括传感器（1）、计算机（2）和可透视的头戴式显示器See-Through HMD（3），传感器（1）和可透视的头戴式显示器See-Through HMD（3）分别与计算机（2）通过线路连接。

2.根据权利要求1所述的基于感兴趣区实现辅助信息提示的人机接口设备，其特征于所述的人机接口设备还包括供电模块（7）。

3.根据权利要求1所述的基于感兴趣区实现辅助信息提示的人机接口设备，其特征在于所述的传感器（1）为摄像机（4），佩戴在用户头部。

4.根据权利要求3所述的基于感兴趣区实现辅助信息提示的人机接口设备，其特征在于所述的摄像机（4）视野的方向和范围与用户视野重叠。

5.根据权利要求1所述的基于感兴趣区实现辅助信息提示的人机接口设备，其特在于所述的传感器（1）为电磁跟踪器，电磁跟踪器的电磁场敏感终端佩戴在用户头部。

6.根据权利要求5所述的基于感兴趣区实现辅助信息提示的人机接口设备，其特征在于所述的电磁跟踪器的电磁场敏感终端与用户头部的相对位置关系固定。

7.根据权利要求1所述的基于感兴趣区实现辅助信息提示的人机接口设备，其特征在于所述的计算机（2）为普通台式机、便携式计算机、可穿戴式计算机或图形工作站。

8.根据权利要求1所述的基于感兴趣区实现辅助信息提示的人机接口设备，其特征在于所述可透视的头戴式显示器See-Through HMD（3）是辅助信息的输出设备，与计算机（2）相连，在计算机（2）和可透视的头戴式显示器See-Through HMD（3）之间设视频适配器（6）。

9.上述权利要求1、2、3、4、7或8所述的基于感兴趣区实现辅助信息提示的人机接口设备的方法，其特征在于包括如下步骤：

⑴ 以工作对象为基准建立坐标系，进而建立目标对象组的三维空间数字模型，确定目标对象间的空间位置关系；

⑵ 利用各个目标对象的图像制作可用于特征匹配的模板组；

⑶ 利用Mean Shift等跟踪算法实现对用户视线的初步跟踪，从而缩小特征匹配时模板搜索的范围；

⑷ 根据用户视线的停留时间确定感兴趣区；

⑸ 从摄像机中获取帧图像作为特征匹配的匹配图像；

⑹ 在以感兴趣区为中心的一定范围内搜索模板图像，对搜索到的各个模板图像逐一与匹配图像进行特征匹配，其中匹配度最高的目标对象作为用户感兴趣对象；

⑺ 将用户感兴趣对象对应的提示信息显示在微型头盔显示器上。

10.上述权利要求1、2、5、6、7或8所述的基于感兴趣区实现辅助信息提示的人机接口设备的方法，其特征在于包括如下步骤：

⑴ 以工作对象为基准建立坐标系，进而建立目标对象组的三维空间数字模型；

⑵ 采用电磁跟踪器对用户头部的位置与姿态进行跟踪定位；以Flock of Bird六自由度直流电磁跟踪器为例，该跟踪器由数据处理主机、发射器和电磁场敏感终端组成，数据处理主机与发射器安置于工作空间内的适当位置，电磁场敏感终端借助头盔或头套固定在用户头部；

⑶ 通过校准与坐标变换算法，计算机出用户头部与视线之间的变换矩阵，从而实现对用户视线的跟踪；

⑷ 根据用户视线的停留时间确定感兴趣区；

⑸ 计算用户视线与三维空间数字模型的交点，从而确定用户感兴趣的目标对象；

⑹ 将目标对象对应的提示信息显示在微型头盔显示器上。