[发明专利]一种语音识别方法、装置、电子设备及存储介质

权利要求书

1.一种语音识别方法，其特征在于，所述方法包括：

在网约车订单履约过程中，监听车辆内的语音信号；

若监听到目标词汇，则提取所述目标词汇对应的目标语音的语音特征；

根据所述目标语音的语音特征，确定发出所述目标语音的目标对象。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标语音的语音特征，确定发出所述目标语音的目标对象，具体包括：

将所述目标语音的语音特征与预先获取的司机的语音特征进行比对；所述司机为所述网约车订单对应的司机；

若所述目标语音的语音特征与所述司机的语音特征一致，则确定所述目标对象为所述司机；

若所述目标语音的语音特征与所述司机的语音特征不一致，则确定所述目标对象为所述网约车订单对应的乘客。

3.根据权利要求1所述的方法，其特征在于，所述提取所述目标词汇对应的目标语音的语音特征之前，所述方法还包括：

将基于所述语音信号生成的语音数据输入语音识别模型，基于所述语音识别模型确定所述语音数据中是否包含目标词汇；

若所述语音数据中包含目标词汇，则确定监听到目标词汇。

4.根据权利要求3所述的方法，其特征在于，所述语音识别模型包括卷积神经子网络、线性子网络、转换子网络、深度神经子网络；

所述卷积神经子网络用于对所述语音数据进行特征提取，得到所述语音数据的第一语音信息特征图；

所述线性子网络用于对所述卷积神经子网络输出的第一语音信息特征图进行降维处理，得到第二语音信息特征图；

所述转换子网络用于对所述线性子网络输出的第二语音信息特征图进行特征提取，得到语音信息特征向量；

所述深度神经子网络用于基于所述转换子网络输出的语音信息特征向量，确定所述语音数据中是否包含目标词汇，并输出所述语音数据中包含的目标词汇。

5.根据权利要求3或4所述的方法，其特征在于，所述语音识别模型的训练过程，包括：

获取训练数据集；所述训练数据集中包括样本图像和样本音频；所述样本图像具有表情类别标签；

基于所述训练数据集对所述语音识别模型进行迭代训练，其中，一次迭代训练过程包括：

将从所述训练数据集中抽取的样本图像输入辅助训练用的视觉识别模型，得到所述样本图像对应的预测表情类别；

将从所述训练数据集中抽取的样本音频输入待训练的语音识别模型，得到所述样本音频中包含的预测目标词汇，以及每个预测目标词汇的概率值；所述概率值为对应的预测目标词汇与所述预测表情类别具有关联关系的概率；

根据所述每个预测目标词汇的概率值和所述样本图像的表情类别标签，确定损失值；

基于所述损失值，调整所述语音识别模型的网络参数。

6.根据权利要求5所述的方法，其特征在于，所述根据所述每个预测目标词汇的概率值和所述样本图像的表情类别标签，确定损失值，包括：

根据所述概率值与设定数值的差值的γ次方，确定调制系数；所述γ为设定值；

根据所述调制系数与设定系数的乘积，以及所述样本图像的表情类别标签，确定损失值。

7.根据权利要求5所述的方法，其特征在于，所述根据所述每个预测目标词汇的概率值和所述样本图像的表情类别标签，确定损失值，包括：

根据所述概率值与设定数值的差值的γ次方，确定调制系数；所述γ为设定值；

根据所述调制系数与设定系数的乘积，以及所述样本图像的表情类别标签，确定第一部分损失值；

根据上一迭代训练过程中确定的损失值，以及所述每个预测目标词汇的概率值和所述样本图像的表情类别标签，确定第二部分损失值；

将所述第一部分损失值与所述第二部分损失值的和，作为所述损失值。