[发明专利]多模态语音识别模型训练方法、装置、设备及存储介质

权利要求书

1.一种多模态语音识别模型训练方法，其特征在于，包括：

通过所述多模态语音识别模型获取训练数据；

若所述训练数据仅包含样本语音信号，则所述多模态语音识别模型利用所述样本语音信号对预置数据集中的各个基本图像特征进行处理，得到与所述样本语音信号对应的目标图像特征；所述基本图像特征根据已知的唇动相关区域图像获得；

根据所述样本语音信号的语音特征和所述目标图像特征进行语音识别，得到所述样本语音信号的语音识别结果；

以所述样本语音信号的语音识别结果趋近于所述样本语音信号的语音内容为目标，对所述多模态语音识别模型的参数进行更新。

2.根据权利要求1所述的方法，其特征在于，还包括：

若所述训练数据同时包含样本语音信号及与之同步采集的唇动相关区域图像，则所述多模态语音识别模型获取所述唇动相关区域图像的特征，作为与所述样本语音信号对应的目标图像特征。

3.根据权利要求1所述的方法，其特征在于，所述利用所述样本语音信号对预置数据集中的各个基本图像特征进行处理，包括：

利用所述样本语音信号获得各个基本图像特征的权重；

利用各个基本图像特征的权重，将所述各个基本图像特征加权求和，得到与所述样本语音信号对应的目标图像特征。

4.根据权利要求3所述的方法，其特征在于，所述利用所述样本语音信号获得各个基本图像特征的权重，包括：

利用空间转换参数对所述样本语音信号的语音特征以及各个基本图像特征分别进行空间转换；

利用转换后的语音特征，以及转换后的基本图像特征，计算各个基本图像特征的权重。

5.根据权利要求4所述的方法，其特征在于，所述对所述多模态语音识别模型的参数进行更新，包括对所述空间转换参数的更新。

6.根据权利要求1所述的方法，其特征在于，所述样本语音信号为第一语种的语音信号；在所述多模态语音识别模型训练好之后，还包括：

通过所述多模态语音识别模型的语音特征提取模块，获取第二语种的样本语音信号的语音特征；

通过所述多模态语音识别模型的图像特征生成模块，利用所述第二语种的样本语音信号的语音特征对所述预置数据集中的各个基本图像特征进行处理，得到与所述第二语种的样本语音信号对应的目标图像特征；

通过所述多模态语音识别模型的识别模块，根据所述第二语种的样本语音信号的语音特征和所述第二语种的样本语音信号对应的目标图像特征进行语音识别，得到所述第二语种的样本语音信号的语音识别结果；

以所述第二语种的样本语音信号的语音识别结果趋近于所述第二语种的样本语音信号的语音内容为目标，对所述语音特征提取模块、所述图像特征生成模块和所述识别模块的参数进行更新。

7.根据权利要求1-6任意一项所述的方法，其特征在于，根据已知的唇动相关区域图像获得基本图像特征的过程，包括：

获取与若干已知的语音信号同步采集的唇动相关区域图像序列；

分别对每个唇动相关区域图像序列进行采样，得到每一个语音信号对应的基本唇动相关区域图像；

获取每一个基本唇动相关区域图像的特征，作为所述基本图像特征。

8.根据权利要求1-6任意一项所述的方法，其特征在于，根据已知的唇部相关图像获得基本图像特征的过程，包括：

获取若干已知的唇动相关区域图像的特征；

将所述若干已知的唇动相关区域图像的特征聚类，得到多个聚类簇；

提取每个聚类簇的聚类中心，作为所述基本图像特征。

9.根据权利要求8所述的方法，其特征在于，所述将所述若干已知的唇部相关图像的特征聚类，包括：

对于每一个待聚类的唇动相关区域图像的特征，确定与该唇动相关区域图像的特征的距离最小的聚类中心，作为目标聚类中心；

将该唇动相关区域图像的特征聚合到所述目标聚类中心所属的聚类簇；

更新所述目标聚类中心所属的聚类簇的聚类中心。