[发明专利]使用原声词嵌入对直接原声到词的语音识别中的词汇表外的词的识别

权利要求书

1.一种用于在自动语音识别(ASR)系统中学习词汇表外的(OOV)词的方法，所述方法包括：

使用原声词嵌入递归神经网络(AWERNN)来接收所述ASR系统的新OOV词的特征序列，所述RNN提供原声词嵌入(AWE)向量作为其输出；

将从所述AWE RNN输出的所述AWE向量作为输入提供给被训练为从所述AWE向量提供OOV词权重值的原声词嵌入到原声到词的神经网络(AWE→A2W NN)；以及

将所述OOV词权重插入到所述ASR系统的用来从语音原声特征的输入输出识别出的词的原声到词(A2W)词嵌入的列表中，其中将所述OOV词权重相对于所述A2W词嵌入列表中的现有权重插入到所述A2W词嵌入列表中。

2.如权利要求1所述的方法，其中，使用词汇表内的(IV)词的特征序列初始地训练所述AWERNN为整体子网络，

其中，所述初始训练进一步包括原声嵌入递归神经网络(AE RNN)，所述原声嵌入递归神经网络接收与在训练期间使用的IV词的每个特征序列相对应的原声序列，

其中，所述AWE RNN和AE RNN的输出被传递到对比的损失函数中，并且

其中，使用反向传播算法训练所述AWE RNN和AWE→A2W NN以训练所述AWE RNN的权重、所述AE RNN的权重、以及所述AWE→A2W NN的权重以使所述对比的损失函数最小化。

3.如权利要求2所述的方法，其中，在所述整个子网络的所述初始训练之后，所述AERNN不用于所述ASR系统的正常操作，并且仅所述AWERNN用于OOV词到所述ASR系统的后续引入。

4.如权利要求1所述的方法，其中，所述ASR系统进一步包括原声到词的递归神经网络(A2W RNN)，所述原声到词的递归神经网络接收语音原声特征作为其中的输入，并且使用点积将所述A2WRNN的输出与所述A2W词嵌入列表的嵌入进行比较，并且

其中，在所述ASR系统的正常操作模式期间，所识别的词语由所述ASR系统响应于来自到所述ASR系统中的原声输入的语音原声特征而输出，来自A2W单词嵌入列表的具有最高比较结果的单词被提供作为ASR系统的输出，作为用于输入语音原声特征的识别词。

5.如权利要求4所述的方法，其中，使用词汇表内的(IV)词来训练包括A2W RNN的整个子网络，其中，将IV词的语音原声特征与所述IV词对应的词序列提供到损失函数中，并且其中，反向传播算法更新A2W RNN的权重，以使所述损失函数最小化并且提供A2W词嵌入列表。

6.如权利要求1所述的方法，在云服务中实现。

7.一种用于自动语音识别(ASR)的方法，所述方法包括：

接收词汇表外的(OOV)词的特征序列，其进入到ASR系统的原声词嵌入递归神经网络(AWE RNN)中，作为接收所述ASR系统的新OOV词的特征序列的机制，所述AWERNN提供原声词嵌入(AWE)向量作为其输出；

将从所述AWE RNN输出的所述AWE向量作为输入提供给被训练为从所述AWE向量提供OOV词权重值的原声词嵌入到原声到词的神经网络(AWE→A2W NN)；以及

将所述OOV词权重插入到所述ASR系统用来从语音原声特征的输入输出识别的词的原声到词的(A2W)词嵌入列表中，其中将所述OOV词权重相对于所述A2W词嵌入列表中的现有权重插入到所述A2W词嵌入列表中。

8.如权利要求7所述的方法，其中，使用词汇表内的(IV)词的特征序初始地训练所述AWERNN为整体子网络，

其中，所述初始训练进一步包括原声嵌入递归神经网络(AE RNN)，所述原声嵌入递归神经网络接收与在训练期间使用的IV词的每个特征序列相对应的原声序列，

其中，所述AWE RNN和AE RNN的输出被传递到对比的损失函数中，并且

其中，使用反向传播算法训练所述AWE RNN和AWE→A2W NN以训练所述AWE RNN的权重、所述AE RNN的权重、以及所述AWE→A2W NN的权重以使所述对比的损失函数最小化。