[发明专利]一种多模态成像与多感知交融的增强现实系统及其应用

权利要求书

1.一种多模态成像与多感知交融的增强现实系统，其特征在于该增强现实系统由多模态成像模块、多层感知模块、辅助传感模块和控制终端组成，所述多模态成像模块由可见光/近红外相机、深度相机、远红外热像仪、近红外点阵光源、点阵激光器和栅栏状激光器构成；所述多层感知模块由触感发生器、气体喷射器、振动发生器、骨传导耳机和OLED显示屏构成；所述辅助传感模块由陀螺仪、超声波测距传感器、红外测距传感器和麦克风构成；所述控制终端由传输模块和微处理器构成；所述多模态成像模块和辅助传感模块将获取的周边环境信息输入控制终端，并由控制终端将处理后的图像流和数据流反馈至多层感知模块，通过触感发生器、气体喷射器、振动发生器、骨传导耳机和OLED显示屏进行全面精准的传递，使用者通过反馈的信息做出相应的行为决策，并通过麦克风与增强现实系统进行交互。

2.根据权利要求1所述多模态成像与多感知交融的增强现实系统，其特征在于所述可见光/近红外相机由点阵激光器和栅栏状激光器实现激光生物散斑的成像模式。

3.根据权利要求1所述多模态成像与多感知交融的增强现实系统，其特征在于所述近红外点阵光源由转换开关进行可见光/近红外相机在有光模式和无光模式的切换，并由远红外热像仪、超声波测距传感器和红外测距传感器对获取的应用场景中物体进行测温、测距和测速。

4.根据权利要求1所述多模态成像与多感知交融的增强现实系统，其特征在于所述触感发生器为产生痛觉阈值之下的热或电刺激。

5.根据权利要求1所述多模态成像与多感知交融的增强现实系统，其特征在于所述气体喷射器以喷射不同强度的气体传递多模态成像模块获取的应用场景信息。

6.根据权利要求1所述多模态成像与多感知交融的增强现实系统，其特征在于所述振动发生器为产生痛觉阈值之下的敲打刺激。

7.根据权利要求1所述多模态成像与多感知交融的增强现实系统，其特征在于所述OLED显示屏为多模态图像信息一一映射到对应的即时场景中的全透模式镜片，并设有眼动或机械开关切换不同模态的图像信息及其融合态显示。

8.根据权利要求1所述多模态成像与多感知交融的增强现实系统，其特征在于所述传输模块为蓝牙、4G或WIFI进行各模块间的无线传输，或将微处理器的数据传输到云端，并接收云端处理后的数据或决策信息。

9.一种权利要求1所述多模态成像与多感知交融的增强现实系统的应用，其特征在于利用该增强现实系统架构的大视角增强现实眼镜用于智能执法、视障辅助和驾驶辅助，或在手杖、腰带、手套、帽子和衣服上架构作为不同场景应用的辅助装置，所述大视角增强现实眼镜是将多模态成像模块、多层感知模块、辅助传感模块和控制终端设置在眼镜框架的外沿，实现佩戴者对周边环境的全方位精准可靠感知。