[发明专利]基于眼动轨迹跟踪的景深融合增强显示方法及系统

说明书

技术领域

本发明涉及一种增强现实显示技术，特别是一种基于眼动轨迹跟踪的景深融合增强显示方法及系统。

背景技术

增强现实技术(AR---Augmented Reality)系统就是把VR放在真实的环境中去检查。从目前发展趋势来看，这种与实际环境相结合的虚拟体验方式是虚拟现实技术发展最有效的实施技术之一。头盔式显示器(Head-Mounted Displays，简称HMD)是AR系统的重要设备。被广泛应用于虚拟现实与增强现实系统中，其最基本的功能是给用户提供一个沉浸式的感应环境，头盔不仅仅起到显示器的作用，还辅助进行场景采集和跟踪注册。增强现实技术的研究者们也采用了类似的显示技术，这就是在AR系统中广泛应用的穿透式HMD。根据具体实现原理，又划分基于光学原理的穿透式HMD(Optical See-through HMD)和基于视频合成技术的穿透式HMD(Video See-through HMD)。其中，光学原理的穿透式HMD(Optical See-throughHMD)因为可以真正实现虚拟物体与真实物体的融合显示，应用更加广范。但如何融合虚拟与真实一直是一项具有挑战的任务。其中，虚拟场景的景深感是重要的方面。

关于眼动研究，早在19世纪就有人通过考察人的眼球运动来研究人的心理活动，通过分析记录到的眼动数据来探讨眼动与人的心理活动的关系。眼动仪的问世为心理学家利用眼动技术(eye movement technique)探索人在各种不同条件下的视觉信息加工机制，观察其与心理活动直接或间接奇妙而有趣的关系，提供了新的有效工具。眼动技术先后经历了观察法、后像法、机械记录法、光学记录法、影像记录法等多种方法的演变。眼动技术就是通过对眼动轨迹的记录从中提取诸如注视点、注视时间和次数、眼跳距离、瞳孔大小等数据，从而研究个体的内在认知过程。利用眼动仪进行心理学研究常用的资料或参数主要包括：注视点轨迹图、眼动时间、眼跳方向(DIRECTION)的平均速度(AVERAGE VELOCITY)时间和距离(或称幅度AMPLITUDE)、瞳孔(PUPIL)大小(面积或直径，单位象素pixel)和眨眼(Blink)。头戴式Head Mounted Optics受试者戴上特制的头箍，上有红外摄像头，可捕捉眼球运动。另一摄像头将外部场景摄录下来，与眼球运动在电脑上进行叠加处理，可分析眼睛对移动景物的注视轨迹及凝视时间。

对于景深研究，专利CN02121681.9提出了一种配合景深的自动对焦方法，但是其方法是依靠硬件实现的。具体是依靠电藕合器的大小操纵马达来实现镜头对焦过程。专利CN200710018305.5提出了一种实现虚拟演播室前景景深，使主持人的注册位置有景深感。但是其主要考虑用户的测试位置，没有考虑其它。专利CN200710040859.5提出了一套眼动轨迹控制交互装置，仅用眼动轨迹来控制相关交互设备。专利CN00123510.9提出利用特定测试图来测试景深。它的目的是调节摄像机的参数。专利CN02106639.6利用一种景深定位尺来调整测试景深位置。专利CN95193447.3利用激光来测定眼动位置。专利CN200510008494.9提出了一种利用各种棱镜来调节的光学调焦头盔。

目前，国内外还没有利用眼动轨迹来研究如何按自然场景来正确调整显示光透式头盔的中的虚拟物体的研究与报道。上述专利及相关研究皆依靠硬件控制机构来实现景深效果，系统灵活性较差，对焦更是通过镜头等光学构件等来实现(如专利CN02121681.9、CN95193447.3和专利CN200510008494.9等)。而眼动轨迹控制装置(如CN200710040859.5等)仅用来实现类似鼠标的作用，尚无其它报道，更没有深入的应用研究，且没有把眼动轨迹设备用来作为景深控制依据的研究，亦没有结合头盔显示器实现增强现实融合显示的研究与报道。

发明内容

鉴于以上所述现有技术存在的问题和不足，本发明的目的在于提供一种基于眼动轨迹跟踪的景深融合增强显示方法及系统，它能同步拍摄背景图像数据，进行比较匹配跟踪，调整光透式头盔显示器显示图像的聚焦程度，实现自动对焦增强显示。

为达到上述目的，本发明采用下述技术构思：

根据人机工程学、摄影原理、运用计算机视觉技术、光学技术和人工智能技术，将实时获取的眼动及背景的数据进行分析，将虚实物体进行对位，调整虚拟物体的图像显示聚焦程度及虚拟场景景深。

本发明采用以下技术方案实现：上述基于眼动轨迹跟踪的景深融合增强显示方法、其步骤如下：