[发明专利]一种基于增强现实的交互显示装置及其交互显示方法

说明书

本发明涉及一种基于增强现实的交互显示装置及其交互显示方法，所述装置包括：视觉感知单元、声音输入输出单元、增强现实处理单元和视频输出单元，其中增强现实处理单元包括语音识别模块、手势识别模块、目标定位模块、三维注册模块、虚拟物体叠加模块。所述方法检测并显示采集到的原始视频；跟踪目标对象；当持续跟踪到目标对象的时间大于T1时，对从声音输入输出单元采集的语音进行识别，根据识别的语音指令选择增强现实模式，叠加虚拟效果，根据是否跟踪到当前目标对象及是否有新的语音指令进行增强现实模式选择、继续叠加虚拟效果或结束增强现实交互显示。本发明充分利用了增强现实技术和人工智能技术，有效地提升了交互显示的用户体验。

技术领域

本发明涉及增强现实(Augmented Reality,AR)领域，具体涉及一种基于增强现实的交互显示装置及其交互显示方法。

背景技术

随着信息科技的发展，人们对现实的感官体验方式不断发生变化。近些年来，AR技术逐渐得到人们广泛的关注，它将原本在现实世界一定时间空间范围内很难体验到的实体信息，通过计算机技术模拟后，在显示屏幕上把虚拟景象叠加到现实场景中，从而达到超越现实的感官体验。目前，AR技术已逐渐应用于游戏、商业、工业、建筑、教育、医疗等各个领域，例如京东推出的试衣镜、Niantic推出的AR游戏《PokémonGO》、以及谷歌发布的AR眼镜等。

目前市面上基于增强现实的娱乐应用大多还是基于手机APP，关于增强现实的实体显示系统还很少，交互功能还有很大的提升空间。申请号为201610785808.4的专利公开了一种互动魔镜广告机。该专利主要通过摄像头采集用户和周围的图像信息并在魔镜上显示，用户可以通过声音与魔镜进行显示界面切换，并且可以通过手机切换广告机的显示界面，还可以通过调节背光模组来调节魔镜的显示亮度。但是该互动魔镜系统并没有在实际图像内容上进行增强显示，本质上还只是对现实景象的捕获显示，并没有达到AR的效果。申请号为201710766223.2的专利公开了一种AR一体机。该一体机主要包括桌体、显示屏、主机、投影仪、识别模块和虚拟输入设备，实现了将现实中的文字图片等转化为虚拟模型并在计算机中展示，但是交互方式过于单一，并且该装置增强现实对象仅限于文字图片，没有用户本身的AR体验。申请号为201810171782.3的专利公开了一种增强现实的AR透明显示互动系统，该系统虽然可以实现AR显示效果，给用户提供了透明感官的体验，但是该系统并不能对用户本身(即LED屏前的实景)进行增强现实，人机交互的娱乐性还可以进一步提升。申请号为201621483605.1的专利公开了一种基于AR技术的旅游景区涂色玩具，该专利主要是对绘画图像进行扫描识别，然后将AR数据库中存储的相应虚拟内容显示在所述动终端的显示器中，再与游人进行交互。虽然该专利能增强游客的真实体验感，但是应用范围比较局限，增强的实景内容和交互方式也还比较单一。

为了解决上述AR系统交互方式单一的缺点，增加虚拟物体的可选择性，本发明在现有技术上的基础上，提供了一种基于增强现实的交互显示装置及其交互显示方法，不仅可以给现实景象添加虚拟对象，还可以通过手势、语音等多种方式进行交互显示，从而给用户带来良好的交互体验，适用于人流较多的各种场所。

发明内容

为了给用户带来良好的感官体验和交互感，本发明提供了一种基于增强现实的交互显示装置及其交互显示方法。

所述的一种基于增强现实的交互显示装置，包括：视觉感知单元、声音输入输出单元、增强现实处理单元、视频输出单元。其中增强现实处理单元包括语音识别模块、手势识别模块、目标定位模块、三维注册模块、虚拟物体叠加模块。

所述的增强现实处理单元由高性能计算机组成，该单元接收来自视觉感知单元的彩色图像、深度图像和人体姿态数据；接收来自声音输入输出单元的现场语音输入数据；对接收到的数据进行增强现实处理；将经过增强现实处理的彩色视频图像输出到视频显示单元，以及将与增强现实图像对应的音频数据输出到声音输入输出单元。