[发明专利]一种基于语音识别的AR交互系统和方法

说明书

本发明涉及信息技术领域，且公开了一种基于语音识别的AR交互系统，包括运算处理器终端和AR端，所述运算处理器终端独立于AR端并进行数据传输连接，所述AR端用于采集实景数据和用户交互信息并用于音频与视频信号的输出，所述运算处理器终端用于处理用户交互信息以及将处理结果结合AR端传来的实景图像生成虚拟‑现实图像。本发明通过数据采集模块采集包括用户语音信息在内的多项交互信息，并由运算处理器终端的语音处理模块和数据处理模块对采集的语音交互信息进行处理，最终实现由语音交互完成AR图像生成，填补AR交互技术在语音交互方面的技术空白，增强用户的AR体验性。

技术领域

本发明涉及信息技术领域，具体为一种基于语音识别的AR交互系统和方法。

背景技术

AR是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。这种技术由1990年提出。随着随身电子产品CPU运算能力的提升，预期增强现实的用途将会越来越广，AR技术在医疗、教育、房地产、设计方面等都有广阔的前景。

语音识别技术现在主要的分为两个方向，即传统声学模型和深度学习模型。传统的语音识别技术即声学模型(GMM-HMM)，通过提取说话者的音频特征，在一些算法的模拟下，生成一个模型；深度学习模型，是近几年来迅速崛起的技术，目前比较火的是基于深度神经网络的隐马尔可夫模型，该技术基于数据的计算模拟出一个鉴别性模型。

目前AR的交互技术主要还是靠动作捕捉，手势识别，用户的体验性并不好，AR产品交互性差，抽离感强，所以在此情况下，语音交互就成为一个用户很强的诉求，为此提出一种基于语音识别的AR交互系统，旨在实现人和虚拟场景人物更自然的交互体验。

发明内容

针对背景技术中提出的现有AR交互方法在使用过程中存在的不足，本发明提供了一种基于语音识别的AR交互系统和方法，具备AR产品交互性强、用户体验性好的优点，解决了上述背景技术中提出的因单一的动作捕捉与手势识别交互方式导致交互性差、抽离感强的问题。

本发明提供如下技术方案：一种基于语音识别的AR交互系统，包括运算处理器终端和AR端，所述运算处理器终端独立于AR端并进行数据传输连接，所述AR端用于采集实景数据和用户交互信息并用于音频与视频信号的输出，所述运算处理器终端用于处理用户交互信息以及将处理结果结合AR端传来的实景图像生成虚拟-现实图像，并将所述虚拟-现实图像和音频信息分别反馈给AR端的视频与音频输出设备。

优选的，所述采集实景数据和用户交互信息包括：采集AR端实时场景图像、周围环境信息、用户的动作信息和用户的语音信息。

优选的，所述AR端包括：数据采集模块、实景采集模块、实景处理模块、语音输出模块和显示模块，其中，

所述数据采集模块用于收集周围空间环境信息、用户的动作和语音信息，所述数据采集模块将采集的信息通过信号连接传输给运算处理器终端处理；

所述实景采集模块连接所述实景处理模块，所述实景采集模块用于采集周围空间的实景图像；

所述实景处理模块用于对采集的空间实景图像进行调整处理，将调整处理后的空间实景图像通过信号连接传输给运算处理器终端作图像生成处理；

所述语音输出模块用于将运算处理器终端中的结果进行语音输出；

所述显示模块用于将运算处理器终端中最终生成的虚拟-现实结合的立体图像作视频输出。

进一步的，所述运算处理器终端由数据预处理模块、语音处理模块、数据处理模块、场景生成模块、图像生成模块和存储模块构成，其中，

所述数据预处理模块用于将数据采集模块传来的数据进行实时的跟踪定位，并进行分析处理；