[发明专利]语音识别纠错方法和装置

权利要求书

1.一种语音识别纠错方法，其特征在于，包括：

获取音频数据和待处理的、所述音频数据的语音识别文本；

将所述音频数据输入预先训练的音频特征抽取模型，得到所述音频数据的音频特征向量；将所述语音识别文本输入预先训练的文本特征抽取模型，得到所述语音识别文本的文本特征向量；

将所述音频特征向量和所述文本特征向量输入预先训练的关联注意力模块；在所述关联注意力模块，基于所述音频特征向量和所述文本特征向量执行关联注意力计算，输出融合所述音频特征向量和所述文本特征向量的双模态表征向量；

将所述双模态表征向量输入预先训练的纠错解码器，得到所述语音识别文本的纠错结果。

2.根据权利要求1所述的方法，其特征在于，所述基于所述音频特征向量和所述文本特征向量执行关联注意力计算，输出融合所述音频特征向量和所述文本特征向量的双模态表征向量，包括：

基于所述文本特征向量形成多个注意力头的查询向量，基于所述音频特征向量形成所述多个注意力头的键向量和值向量；

根据所述查询向量、键向量和值向量计算每一注意力头的单头注意力输出向量，将每一注意力头的单头注意力输出向量拼接后形成多头注意力输出向量；

将所述多头注意力输出向量与所述文本特征向量拼接为所述双模态表征向量。

3.根据权利要求1所述的方法，其特征在于，所述纠错解码器包括依次连接并且结构相同的多个解码层，每一解码层包括依次连接的自注意力子层、关联注意力子层和前馈网络子层；以及，所述将所述双模态表征向量输入预先训练的纠错解码器，包括：

将所述双模态表征向量输入每一解码层的关联注意力子层。

4.根据权利要求3所述的方法，其特征在于，所述方法进一步包括：

在所述纠错解码器的任一解码层，基于该解码层的自注意力子层计算该解码层的输入向量的自注意力向量，将所述自注意力向量执行归一化之后与所述输入向量结合，获得第一中间向量向该解码层的关联注意力子层传递；

在该关联注意力子层，基于第一中间向量形成多个注意力头的查询向量，基于所述双模态表征向量形成该多个注意力头的键向量和值向量，根据该查询向量、键向量和值向量计算融合第一中间向量和所述双模态表征向量的多头注意力向量；将所述多头注意力向量执行归一化之后与第一中间向量结合，获得第二中间向量后向该解码层的前馈网络子层传递；

基于该前馈网络子层计算第二中间向量的映射向量，将所述映射向量执行归一化之后与第二中间向量结合，获得该解码层的输出向量。

5.根据权利要求4所述的方法，其特征在于，所述纠错解码器进一步包括连接在最后端解码层的线性层、归一化层和输出层；以及，

所述纠错解码器的最前端解码层在任一时间步的输入向量是当前已生成语素的嵌入向量，所述输出层在任一时间步的输出结果是当前已生成语素的下一语素，所述输出层在各时间步的输出结果组成所述纠错结果。

6.根据权利要求3所述的方法，其特征在于，所述关联注意力模块和所述纠错解码器通过以下步骤进行联合训练：

获取包括训练音频数据以及相应的训练语音识别文本和作为标签的训练纠错文本；

将所述训练音频数据输入所述音频特征抽取模型，得到所述训练音频数据的训练音频特征向量；将所述训练语音识别文本输入所述文本特征抽取模型，得到所述训练语音识别文本的训练文本特征向量；

将所述训练音频特征向量和所述训练文本特征向量输入所述关联注意力模块；在所述关联注意力模块，基于所述训练音频特征向量和所述训练文本特征向量执行关联注意力计算，输出融合所述训练音频特征向量和所述训练文本特征向量的训练表征向量；

将所述训练表征向量输入所述纠错解码器中各解码层的关联注意力子层，将当前时间步的已生成语素的嵌入向量输入所述纠错解码器的最前端解码层，获得所述纠错解码器的训练输出结果；比对所述训练输出结果与所述训练纠错文本形成用于训练所述关联注意力模块和所述纠错解码器的损失函数。