[发明专利]语音识别方法、装置、电子设备和存储介质

权利要求书

1.一种语音识别方法，其特征在于，包括：

获取语音信号，和所述语音信号对应的脑电信号；

对所述语音信号进行特征向量提取，得到声学特征向量；

对所述脑电信号进行特征向量提取，得到脑电信号特征向量；

对所述声学特征向量和所述脑电信号特征向量进行向量融合，得到融合特征向量；

根据所述融合特征向量和语音识别网络，识别所述语音信号对应的信息。

2.根据权利要求1所述的语音识别方法，其特征在于，所述对所述脑电信号进行特征向量提取，得到脑电信号特征向量的步骤，包括：

根据所述脑电信号和第一特征向量提取网络，确定目标特征向量，其中，所述目标特征向量为包含文本上下文信息的特征向量；

根据所述目标特征向量和第二特征向量提取网络，确定所述脑电信号特征向量，其中，所述第二特征向量提取网络用于提取所述目标特征向量中表征文本信息的局部特征。

3.根据权利要求2所述的语音识别方法，其特征在于，所述第一特征向量提取网络包括第一前馈型序列记忆网络和第二前馈型序列记忆网络；

所述根据所述脑电信号和第一特征向量提取网络，确定目标特征向量的步骤，包括：

通过所述第一前馈型序列记忆网络，提取所述脑电信号中的α波信号对应的特征向量；

通过所述第二前馈型序列记忆网络，提取所述脑电信号中的β波信号对应的特征向量；

对所述α波信号对应的特征向量和所述β波信号对应的特征向量进行相加处理，得到所述目标特征向量。

4.根据权利要求3所述的语音识别方法，其特征在于，所述第一特征向量提取网络还包括有限长单位冲激响应滤波器模块；

在所述对所述α波信号对应的特征向量和所述β波信号对应的特征向量进行相加处理，得到所述目标特征向量的步骤之前，所述语音识别方法还包括：

通过所述有限长单位冲激响应滤波器模块，对所述α波信号对应的特征向量和所述β波信号对应的特征向量进行滤波处理。

5.根据权利要求1所述的语音识别方法，其特征在于，所述对所述声学特征向量和所述脑电信号特征向量进行向量融合，得到融合特征向量的步骤，包括：

将所述脑电信号特征向量拼接至所述声学特征向量的尾部，得到拼接特征向量；

对所述拼接特征向量进行规整化处理，得到规整特征向量；

对所述规整特征向量进行滤波处理，得到所述融合特征向量。

6.一种语音识别装置，其特征在于，包括：

获取模块，用于获取语音信号，和所述语音信号对应的脑电信号；

提取模块，用于对所述语音信号进行特征向量提取，得到声学特征向量；以及

对所述脑电信号进行特征向量提取，得到脑电信号特征向量；

融合模块，用于对所述声学特征向量和所述脑电信号特征向量进行向量融合，得到融合特征向量；

识别模块，用于根据所述融合特征向量和语音识别网络，识别所述语音信号对应的信息。

7.根据权利要求6所述的语音识别装置，其特征在于，还包括：

确定模块，用于根据所述脑电信号和第一特征向量提取网络，确定目标特征向量，其中，所述目标特征向量为包含文本上下文信息的特征向量；以及

根据所述目标特征向量和第二特征向量提取网络，确定所述脑电信号特征向量，其中，所述第二特征向量提取网络用于提取所述目标特征向量中表征文本信息的局部特征。

8.根据权利要求7所述的语音识别装置，其特征在于，所述第一特征向量提取网络包括第一前馈型序列记忆网络和第二前馈型序列记忆网络；

所述提取模块，具体用于通过所述第一前馈型序列记忆网络，提取所述脑电信号中的α波信号对应的特征向量；以及

通过所述第二前馈型序列记忆网络，提取所述脑电信号中的β波信号对应的特征向量；

所述语音识别装置还包括：

处理模块，用于对所述α波信号对应的特征向量和所述β波信号对应的特征向量进行相加处理，得到所述目标特征向量。