[发明专利]一种多音字读音预测方法、装置和电子设备

说明书

本申请公开了一种多音字读音预测方法、装置和电子设备，涉及语音技术领域。具体实现方案为：通过多头自注意力语言模型对输入文本进行语义解析，以得到所述输入文本的文本语义信息；依据所述文本语义信息预测所述输入文本中多音字的读音。本申请可以提高预测多音字读音的准确性。

技术领域

本申请涉及计算机技术中的语音技术领域，尤其涉及一种多音字读音预测方法、装置和电子设备。

背景技术

目前预测多单字的读音，主要是通过语音循环神经网络(Recurrent NeuralNetwork，RNN)或者卷积神经网络(Convolutional Neural Networks，CNN)来预测。但由于RNN和CNN使用的多单字的语义信息过少，使得对较长上下文的表征能力弱，且RNN和CNN需要特征工程辅助并因此引入误差累积。可见，目前预测多音字读音准确性比较差。

发明内容

本申请提供一种多音字读音预测方法、装置和电子设备，以解决预测多音字读音准确性比较差的问题。

第一方面，本申请提供一种多音字读音预测方法，包括：

通过多头自注意力语言模型对输入文本进行语义解析，以得到所述输入文本的文本语义信息；

依据所述文本语义信息预测所述输入文本中多音字的读音。

本申请中，由于通过多头自注意力语言模型对输入文本进行语义解析，这样可以使得文本语义信息更加丰富，即使在处理较长上下文时，该多头自注意力语言模型也能让每个字都获取上下文信息，且由于不需要特征工程，从而不存在误差累积，进而可以提高预测多音字读音的准确性。

可选的，所述多头自注意力语言模型包括嵌入层和多头自注意力层，所述通过多头自注意力语言模型对输入文本进行语义解析，以得到所述输入文本的文本语义信息，包括：

通过所述嵌入层对所述输入文本进行编码，以得到所述输入文本对应的输入矩阵；

通过所述多头自注意力层对所述输入矩阵进行语义解析，以得到所述输入文本的文本语义信息，其中，所述文本语义信息包括所述输入矩阵中每个向量的语义信息。

该实施方式中，由于先对输入文本进行编码，之后再进行语义解析，这样可以降低运算量。

可选的，所述多头自注意力语言模型包括N个多头自注意力层，其中，N为大于1的整数；

所述通过所述多头自注意力层对所述输入矩阵进行语义解析，以得到所述输入文本的文本语义信息，包括：

通过所述N个多头自注意力层进行语义解析，其中，所述N个多头自注意力层中第一个多头自注意力层的输入包括所述输入矩阵，所述输入文本的文本语义信息包括所述N个多头自注意力层中最后一个多头自注意力层的输出，且所述N个多头自注意力层中第n个多头自注意力层的输入为第n-1个多头自注意力层的输出，n为大于1小于所述N的整数。

该实施方式中，可以实现多个多头自注意力层依次叠加进行语义解析，从而可以提高文本语义信息的准确性，以进一步提高预测多音字读音的准确性。

可选的，每个多头自注意力层中包括多个头，且同一多头自注意力层中不同的头通过不同的线性变换获取到不同角度的语义信息。

该实施方式中，可以实现通过多头获取到不同角度的语义信息，更加丰富输入文本的文本语义信息，以进一步提高预测多音字读音的准确性。

可选的，所述依据所述文本语义信息预测所述输入文本中多音字的读音，包括：

通过多音字模型的分类器依据所述文本语义信息预测所述输入文本中多音字的读音，其中，所述多头自注意力语言模型属于所述多音字模型内，所述分类器的输入包括所述文本语义信息，所述分类器的输出包括所述多音字的读音。