[发明专利]一种多模态成像与多感知交融的增强现实系统及其应用

说明书

本发明公开了一种多模态成像与多感知交融的增强现实系统及其应用，其特点是该系统由多模态成像模块、多层感知模块、辅助传感模块和控制终端组成，所述多模态成像模块和辅助传感模块将获取的周边环境信息输入控制终端，并由控制终端将处理后的图像流和数据流反馈至多层感知模块进行全面精准的传递，并通过麦克风与系统进行交互，利用该增强现实系统架构的增强现实眼镜用于智能执法、视障辅助和驾驶辅助，实现使用者对周边环境的全方位精准可靠的感知。本发明与现有技术相比具有多模态成像与多层感知的交互融合，实现应用场景下有效信息的准确获取和精准传递，以满足智能执法、视障辅助、辅助驾驶等不同环境下的应用需求，使用方便，可靠性高。

技术领域

本发明涉及多模态成像及多层感知技术领域，尤其是一种多模态成像与多感知交融的增强现实系统及其应用。

背景技术

增强现实眼镜在现实生活中的应用前景巨大，自从谷歌开始发布谷歌眼镜以来，世界上很多企业都开始涉足增强现实眼镜领域。就市面上的现有的增强现实及其相关的眼镜产品而言，主要有谷歌眼镜(G. Inc., Google Glass, 2012)、eSight 3 (e. Co.,eSight 3, 2017)、OrCam (O.T. Ltd., OrCam, 2015)、Enchroma (I. Enchroma,Enchroma, 2013)、Intoer (L. Hangzhou KR-VISION Technology Co., Intoer, 2017)等主流产品。其中大部分产品都是产品都是单一的RGB相机作为数据采集设备，然后采用视觉或声音的反馈方式进行信息的传输。这些产品存在的模态和感知形式单一的问题是目前这些产品应用场景受限的最大原因之一。

在我国的专利数据库中以“增强现实眼镜”为关键词来搜索，则会有约540项的专利、325项发明专利(含公开的发明专利)。以下对现有的相关专利进行罗列并分析：如增强现实智能眼镜(申请号：201510009348.1)通过相机实时采集周围环境信息，并将虚拟对象和现实画面叠加现实，产生三维立体效果，通过动作传感器和声音传感器与系统进行互动；大视场角增强现实眼镜(申请号：201510573508.5)主要通过光学架构实现了大视场角增强现实眼镜，从而增强了用户的使用体验，该专利申请人在另外一个专利中增加了触摸屏，实现了用户的交互，实际上用户的感知和交互是分不开的，有了感知，才有交互；带增强现实的智能眼镜(申请号：201610035054.0)采用可见光和深度相机协同的方式增强视觉障碍的用户对外界事物的感知；增强现实眼镜(申请号：201610270873.3)采用了双可见光相机加闪光灯的模式大幅改善聚集功能和成像画质；多层式增强现实智能眼镜(申请号：201610316464.2)结合使用滤光镜片、显示镜片、功能镜片的光学设计方案实现了多层的感知；用于实现增强现实交互和展示的方法、设备(申请号：201610049175.0)通过通讯协议实现了不同模块之间的通讯，然后通过视觉、声音、振动的形式来进行用户的多层感知。

现有的专利和论文对增强现实系统的阐述都局限于单一的产品或外形展现形态，其中眼镜的形态居多，而增强现实眼镜仅是多模态成像与多感知交融的增强现实系统的一种具体应用。在实际的应用中，根据特定的任务，增强现实系统还应包括腰带、手套、帽子、手杖、衣服、裤子、鞋子、手环、手表、项链、戒指、脚环、耳钉或包等其他形式的体现和展示。现今，还未有以模块化的形式对增强现实系统进行描述的相关专利和论文。

综上所述，现有技术的增强现实系统存在着模态单一、感知模式匮乏等问题，未能将感知与进行较好的交互和整合，限制了增强现实系统的大规模实际应用，这也是目前这些产品应用场景受限的最大原因之一。

发明内容