[发明专利]眼部手势控制方法和系统及其VR眼镜

说明书

本发明提供了一种眼部手势控制方法和系统及其VR眼镜，眼部图像获取步骤：获取眼部图像；眼部手势识别步骤：对眼部图像进行识别得到眼部手势；手势控制步骤：根据眼部手势生成控制指令，以指示VR眼镜对虚拟环境中的虚拟对象进行控制。本发明事先提示VR眼镜佩戴者作出指定的眼部动作，从而简化了识别匹配算法，仅仅需要作出指定的眼部动作是否被执行的识别，而并非传统的方式在数量较多的备选眼部动作中匹配得到是哪一个眼部动作。因此，在同样的图像处理识别条件前提下，本发明的眼部动作的识别准确率得到本质的提高。

技术领域

本发明涉及VR眼镜领域，具体地，涉及眼部手势控制方法和系统及其VR眼镜。

背景技术

专利文献CN106814846A公开了一种VR中基于视线和碰撞体交点的眼动分析方法，包括步骤：建立三维模型；将所述三维模型导入物理引擎中，并对所述三维模型设置碰撞体；追踪用户视线，根据所述视线与一个碰撞体确定交点，所述一个碰撞体包括的物体是用户看到的物体，记录数据。本方法主要应用于VR中，结合眼动技术，实时记录兴趣区域，对VR场景中的物体进行360度全景分析，检测视角、范围大。

专利文献揭露了可以通过眼动与VR眼镜进行交互，这对于如何跟踪眼动提出了要求。

专利文献CN108399001A公开了一种VR/AR中双目立体视觉眼动分析方法及装置，kappa角标定，眼睛注视标定点，各分配给左右眼的2个摄像机与至少2个光源确定眼睛的kappa角；实时确定左右眼的光轴；根据kappa角和左右眼的光轴确定左右眼的视轴区域；确定用户注视的区域。还提供使用上述方法的装置，用于头戴式VR或AR设备，对于一个用户只需标定一次kappa角，克服用户多次佩戴时头部位置移动的误差，减少繁琐的反复校准程序；该方法使用一种高效的光源组，在用户角膜上形成多个角膜反光点，自动筛选可靠角膜反光点进行眼动分析。当用户使用头戴式VR或AR设备时，实现覆盖用户全部眼动点位置或全视角，使得用户扫视时眼动点位置检测平滑，捕获的眼睛图像亮度均匀，后续图像处理方便。

但是，现有技术的不足之处是，技术路线是仅仅通过图像处理的方式提高识别准确度。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种眼部手势控制方法和系统及其VR眼镜。

根据本发明提供的一种眼部手势控制方法，包括：

眼部图像获取步骤：获取眼部图像；

眼部手势识别步骤：对眼部图像进行识别得到眼部手势；

手势控制步骤：根据眼部手势生成控制指令，以指示VR眼镜对虚拟环境中的虚拟对象进行控制。

优选地，所述眼部图像获取步骤包括：

语音提示步骤：向VR眼镜佩戴者发出语音提示，其中，所述语音提示指示VR眼镜佩戴者按照提示作出指定的眼部动作；

图像采集步骤：在语音提示之后，获取VR眼镜佩戴者的眼部图像；

所述眼部手势识别步骤包括：

动作识别步骤：判断眼部图像中的眼睛是否已作出指定的眼部动作；若是，识别得到第一手势作为眼部手势；若否，则识别得到第二手势作为眼部手势。

优选地，所述手势控制步骤包括：

第一手势处理步骤：控制虚拟对象保持现状不变；

第二手势处理步骤：控制触发虚拟对象执行变化。

优选地，所述指定的眼部动作包括如下任一种动作：

持续闭眼超过指定的时间；

按照指定的节奏眨眼；

按照指定的方向环视。