[发明专利]头戴式显示设备

说明书

技术领域

本发明涉及一种能够进行语言、文字翻译的头戴式显示设备。

背景技术

头戴式显示设备(Head Mounted Display，HMD)指的是可以戴在头上的显示设备。HMD一般使用“近眼光学系统”来在距离眼球几厘米的显示屏幕(例如镜片)上显示图形图片等多媒体信息。根据显示屏幕的数量，HMD可以细分为“单镜片HMD”和“双镜片HMD”。一些HMD只显示一张“计算机生成图像”(CGI)，而一些种类的HMD则可以以“现实世界视角”的方式显示叠加的CGI。后者一般又称为“增强的现实”，因为使用者的对于现实世界的图像信息被附着在显示设备上的图像给“强化”了。具体来说，就是用户既可以通过透明的镜片观看自己周围的外部世界，也可以通过控制系统在镜片上显示一些多媒体信息，例如文字(在前方看到的一座大厦的名字，距离自己最近的餐馆的位置以及其招牌菜、菜单等即时信息)。

HMD具有许多实用性的和娱乐性的应用。例如，航天应用允许飞行员在眼光不从飞行路线上移开的前提下，查看至关重要的飞行控制信息。公共安全应用可以包括跟踪显示地图信息以及犯罪嫌疑人的面部自动识别匹配信息等。其他应用领域也可以包括视频游戏、远程医疗、远程控制等。由于该技术还处于早期阶段，随着该技术的发展，将会有更多的实用性和娱乐性的应用出现。但是，目前这些应用被限制在成本、尺寸、显示区域、以及用来实现当前HMD的传统光学设备的效率问题等。并且，其他一些尚未彻底解决的技术问题将会随着HMD的迅猛发展而被逐步攻克并实现其在市场上的广泛应用。

作为消除全世界范围内人与人沟通的技术，机器翻译技术，特别是基于统计的机器翻译技术业已经越来越成熟，并吸引着越来越多的人使用。然而，当一个人去另外一个不同语言的国家旅行或者公务的时候，如果存在语言/文字障碍，通常需要借助于电子词典或移动终端中的翻译软件，然而这样并不快速和便捷，由此带来不便。

发明内容

针对上述问题，本发明提出一种能够实现语言实时翻译的头戴式显示设备。

根据本发明的一方面，一种头戴式显示设备包括：显示屏幕；麦克风，接收来自外部或者用户的源语言语音信息；扬声器，向用户发送声音信息；无线通信单元，与远程服务器通信；控制器，其中，控制器将麦克风接收的源语言语音信息以及用户指定的目标语言通过无线通信单元发送到远程服务器，远程服务器将源语言语音信息转换为目标语言语音信息并将目标语言语音信息发送到无线通信单元，控制器控制扬声器向用户发出由无线通信单元接收的目标语言语音信息。

远程服务器对源语言语音信息进行语音识别，将源语言语音信息转换为对应的文字，然后将所述对应的文字转换为目标语言文字，接着将目标语言文字转换为对应的目标语言语音信息，并将目标语言语音信息发送到头戴式显示设备的无线通信单元，控制器控制扬声器向用户发出由无线通信单元接收的目标语言语音信息。

头戴式显示设备还包括：一个或多个摄像头，设置在头戴式显示设备的一侧或多侧，对头戴式显示设备的一侧或多侧区域进行拍摄，形成图像信息。

控制器将摄像头拍摄的图像信息以及用户指定的目标语言通过无线通信单元发送到远程服务器，远程服务器将图像信息中的原始文字转换为目标语言文字，并将目标语言文字发送到无线通信单元，控制器控制显示屏幕显示目标语言文字。

远程服务器将目标语言文字嵌入到图像信息中的原始文字对应位置处，并且将嵌入了目标语言文字的图像信息发送到头戴式显示设备的无线通信单元，控制器控制显示屏幕显示嵌入了目标语言文字的图像信息。

远程服务器将摄像头拍摄的图像信息中的原始文字转换为目标语言文字，将目标语言文字作为训练特征来更新远程服务器针对用户的源语言语音识别结果的输出，重新排列源语言语音识别结果的排序，以获得融合了外部环境特征的优化的源语言语音识别结果；远程服务器将优化的源语言语音识别结果转换为原始文字信息，将转换的原始文字信息作为新训练特征来优化源语言语音识别的翻译结果，重新排列源语言语音识别的翻译结果的排序，以获得融合了外部环境特征的优化的源语言语音翻译结果，并将优化的源语言语音翻译结果发送到无线通信单元，控制器控制扬声器向用户发出由无线通信单元接收的优化的源语言语音翻译结果。

远程服务器在对用户的源语言语音信息的历史语音识别结果中提取关键词，计算关键词与转换的特定目标语言文字之间的相似度，根据相似度使用所述关键词来修正所述特定目标语言文字，并将修正后的特定目标语言文字发送到无线通信单元，控制器控制显示屏幕显示修正后的特定目标语言文字。