[发明专利]一种聋哑人手语交互方法以及聋哑人手语交互装置

说明书

本发明公开了一种聋哑人手语交互方法以及聋哑人手语交互装置，该方法包括从第一可穿戴装置获取手语图像信息，从该手语图像信息中提取手语特征；根据手语文字映射库以及手语语音映射库，确定该手语特征对应的文字信息及语音信息；在该第一可穿戴装置上展示与该手语图像信息对应的文字信息和/或语音信息；从第二可穿戴装置获取环境语音，根据语音文字映射库以及手语语音映射库，确定该环境语音征对应的环境文字信息及环境手语信息；以及在该第二可穿戴装置上展示该环境文字信息和/或环境手语信息。本发明的自我学习型方法和装置能使聋哑人与他人无障碍顺畅地进行沟通。

技术领域

本发明涉及特殊群体可穿戴设备技术领域，特别是涉及一种聋哑人手语交互方法以及聋哑人手语交互装置。

背景技术

随着社会的科技发展和进步，聋哑人群需要更高效率的与正常人进行沟通，来满足生活、工作等需求。而正常人也需要更好的理解与聋哑人沟通过程中所表达的含义。

现有的聋哑人手语交互设备识别手语精准度不高；

随着科学技术的高速发展，芯片核心算法及计算能力得到充足的提升和突破，硬件的制造能力也有了很大发展，图像识别、语音识别、软件设计、动画、图像、表情都已经是非常成熟的技术，各种人工智能学习技术已经得到广泛的应用。

中国专利申请第CN201610954160.9号披露了一种基于机器人的聋哑人手语识别交互系统，它涉及智能服务机器人及其应用技术领域，它包含手语识别子系统、机器人本体和文字语音输入输出子系统，手语识别子系统主要由手语识别模块以及手语翻译模块组成，手语识别模块安装于机器人本体上；文字语音输入输出子系统包括将手语识别子系统中的手势识别模块的文字或语音进行输出显示、将正常人的语言或文字转换成机器人系统可以理解的语言信号。为改善和提高聋哑人士的生活、学习和工作条件提供更好的服务，借助于机器人平台，提升了聋哑人士与正常人交谈的交互质量和交互体验，融合最新的手语识别、语音识别和机器人等技术，使聋哑人士也能够受到社会的平等对待，接受更好的教育。

但是，现有的聋哑人手语交互系统，比如机器人，体型较大重量大。难以实现实时、面对面的无障碍交流。因此，现有聋哑人的社交方式已经无法全面性的满足聋哑人在沟通方面的需求。

因此，现有的聋哑人可穿戴辅助设备技术还有待于改进和发展。

发明内容

本发明针对以上存在的技术问题，提供一种自我学习型、能使聋哑人与他人无障碍顺畅沟通的聋哑人手语交互方法以及装置。

第一方面，本发明实施方式提供的技术方案是：提供一种聋哑人手语交互方法，包括以下步骤：

从第一可穿戴装置获取手语图像信息，从该手语图像信息中提取手语特征；

根据手语文字映射库以及手语语音映射库，确定该手语特征对应的文字信息及语音信息；

在该第一可穿戴装置上展示与该手语图像信息对应的文字信息和/或语音信息；

从第二可穿戴装置获取环境语音，根据语音文字映射库以及手语语音映射库，确定该环境语音征对应的环境文字信息及环境手语信息；以及

在该第二可穿戴装置上展示该环境文字信息和/或环境手语信息。

该聋哑人手语交互方法中，还包括特征学习过程，该特征学习过程：

保存每次提取的手语特征，从中提取手语共性特征；

建立该手语共性特征与文字的第一补充映射关系以及建立该手语共性特征与语音的第二补充映射关系；

将该第一补充映射关系更新至该手语文字映射库以及将该第二补充映射关系更新至该手语语音映射库。

优选地，该第一可穿戴装置连接云端服务器；该第二可穿戴装置连接该云端服务器。