[发明专利]语音数据生成方法、装置、终端及存储介质

说明书

本公开关于一种语音数据生成方法、装置、终端及存储介质，涉及互联网技术领域，该方法包括：从待处理的视频中获取至少一个目标视频帧；对至少一个目标视频帧的手部图像进行手势识别，得到至少一个目标视频帧对应的手势类型；基于至少一个手势类型以及手势类型与词语的对应关系，得到目标语句，目标语句包含至少一个手势类型对应的词语；根据目标语句，生成目标语句对应的语音数据。通过播放语音数据就可以了解到视频中的手语想要表达的内容，实现了听障人士与健听人士之间的无障碍交流。待处理的视频可以由普通摄像头拍摄得到，该方案不依赖特定的设备，可以直接在手机、电脑等终端上直接运行，没有额外的成本，可以更好地在听障人群中普及。

技术领域

本公开涉及互联网技术领域，尤其涉及一种语音数据生成方法、装置、终端及存储介质。

背景技术

中国的听障人群数量超过2000万人口，他们在日常生活中只能通过手语或者文字与其他人进行交流，但是大部分人不能很好地理解手语，因此，听障人士只能通过手写或者在电子设备上输入文字等方式与其他人进行交流，但是这种交流方式极大地降低了交流的效率。

目前，听障人士也可以通过一些体感设备来实现与其他用户的正常交流，该体感设备上设置有深度摄像头，该体感设备通过深度摄像头获取用户的手势动作，对该手势动作进行分析获取该手势动作对应的文字信息，将得到的文字信息显示在屏幕上。

但是，通常情况下该体感设备体积较大，听障人士无法随身携带，因此，这种方案依然无法实现听障人士与其他人的正常交流。

发明内容

本公开提供一种语音数据生成方法、装置、终端及存储介质，以至少解决相关技术中听障人士与健听人士之间交流困难的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种语音数据生成方法，该方法包括：

从待处理的视频中获取至少一个目标视频帧，所述目标视频帧为包括手部图像的视频帧；

对所述至少一个目标视频帧的手部图像进行手势识别，得到所述至少一个目标视频帧对应的手势类型；

基于至少一个手势类型以及手势类型与词语的对应关系，得到目标语句，所述目标语句包含所述至少一个手势类型对应的词语；

根据所述目标语句，生成所述目标语句对应的语音数据。

在一种可能实现方式中，所述对所述至少一个目标视频帧的手部图像进行手势识别，得到所述至少一个目标视频帧对应的手势类型，包括：

对每个目标视频帧的手部图像进行手势识别，基于所述每个目标视频帧中手部图像中的手部轮廓，获取所述每个目标视频帧的手势形状；

基于所述每个目标视频帧的手势形状以及手势形状与手势类型的对应关系，确定所述每个目标视频帧对应的手势类型。

在一种可能实现方式中，所述基于至少一个手势类型以及手势类型与词语的对应关系，得到目标语句之前，所述方法还包括：

当有目标数量的连续目标视频帧的手势类型相同时，将相同的手势类型作为所述连续目标视频帧对应的手势类型。

在一种可能实现方式中，所述基于至少一个手势类型以及手势类型与词语的对应关系，得到目标语句，包括：

当识别出的手势类型为目标手势类型时，基于目标视频帧对应的手势类型、手势类型与词语的对应关系，获取第一目标视频帧和第二目标视频帧之间的目标视频帧对应的词语，所述第一目标视频帧为本次识别出所述目标手势类型的目标视频帧，所述第二目标视频帧为前一次识别出所述目标手势类型的目标视频帧；

将所述至少一个词语进行组合，得到所述目标语句。

在一种可能实现方式中，所述基于至少一个手势类型以及手势类型与词语的对应关系，得到目标语句，包括：