[发明专利]语音数据生成方法、装置、终端及存储介质

权利要求书

1.一种语音数据生成方法，其特征在于，所述方法包括：

从待处理的视频中获取至少一个目标视频帧，所述目标视频帧为包括手部图像的视频帧；对所述至少一个目标视频帧的手部图像进行手势识别，得到所述至少一个目标视频帧对应的手势类型；基于至少一个手势类型以及手势类型与词语的对应关系，得到目标语句，所述目标语句包含所述至少一个手势类型对应的词语；根据所述目标语句，生成所述目标语句对应的语音数据；

所述基于至少一个手势类型以及手势类型与词语的对应关系，得到目标语句，包括：当识别出的手势类型为目标手势类型时，基于所述至少一个手势类型，以及手势类型与词语的对应关系，获取第一目标视频帧和第二目标视频帧之间的目标视频帧对应的词语，所述第一目标视频帧为本次识别出所述目标手势类型的目标视频帧，所述第二目标视频帧为前一次识别出所述目标手势类型的目标视频帧，所述目标手势类型用于表示一句话的表述完成；

将获取的至少一个词语进行组合，得到所述目标语句；

所述基于至少一个手势类型以及手势类型与词语的对应关系，得到目标语句之前，所述方法还包括：

获取一个手势类型之后，将所述手势类型作为待确定的手势类型，获取下一目标视频帧的手势类型；当所述下一目标视频帧的手势类型与所述待确定的手势类型相同时，将所述待确定的手势类型的连续次数加1，继续执行获取下一目标视频帧的手势类型的步骤；当所述下一目标 视频帧的手势类型与待确定的手势类型不同时，则确定所述待确定的手势类型的连续次数是否大于目标数量，若所述待确定的手势类型的连续次数不小于所述目标数量，则确定所述待确定的手势类型为有效手势类型，将相同的手势类型作为连续目标视频帧对应的手势类型，将下一目标视频帧的手势类型作为待确定的手势类型；若所述待确定的手势类型的出现次数小于所述目标数量，则将所述待确定的手势类型确定为无效手势类型，将下一目标视频的手势类型作为待确定的手势类型。

2.根据权利要求1所述的方法，其特征在于，所述对所述至少一个目标视频帧的手部图像进行手势识别，得到所述至少一个目标视频帧对应的手势类型，包括：

对每个目标视频帧的手部图像进行手势识别，基于所述每个目标视频帧中手部图像中的手部轮廓，获取所述每个目标视频帧的手势形状；

基于所述每个目标视频帧的手势形状以及手势形状与手势类型的对应关系，确定所述每个目标视频帧对应的手势类型。

3.根据权利要求1所述的方法，其特征在于，所述基于至少一个手势类型以及手势类型与词语的对应关系，得到目标语句，包括：

每识别出一个手势类型时，基于所述手势类型以及手势类型与词语的对应关系，获取所述手势类型对应的词语，将所述词语作为所述目标语句。

4.根据权利要求3所述的方法，其特征在于，所述根据所述目标语句，生成所述目标语句对应的语音数据之后，所述方法还包括：

当识别出的手势类型为所述目标手势类型时，则对所述第一目标视频帧和所述第二目标视频帧之间的目标视频帧所对应的词语进行语法检测；

当语法检测未通过时，基于所述第一目标视频帧和所述第二目标视频帧之间的目标视频帧对应的词语重新生成新的目标语句，所述新的目标语句包括所述至少一个词语。