[发明专利]一种多音字读音预测方法、装置和电子设备

权利要求书

1.一种多音字读音预测方法，其特征在于，包括：

通过多头自注意力语言模型对输入文本进行语义解析，以得到所述输入文本的文本语义信息；

依据所述文本语义信息预测所述输入文本中多音字的读音；

其中，所述多头自注意力语言模型包括嵌入层和多头自注意力层，所述通过多头自注意力语言模型对输入文本进行语义解析，以得到所述输入文本的文本语义信息，包括：

通过所述嵌入层对所述输入文本进行编码，以得到所述输入文本对应的输入矩阵；

通过所述多头自注意力层对所述输入矩阵进行语义解析，以得到所述输入文本的文本语义信息，其中，所述文本语义信息包括所述输入矩阵中每个向量的语义信息；

所述依据所述文本语义信息预测所述输入文本中多音字的读音，包括：

通过多音字模型的分类器依据所述文本语义信息预测所述输入文本中多音字的读音，其中，所述多头自注意力语言模型属于所述多音字模型内，所述分类器的输入包括所述文本语义信息，所述分类器的输出包括所述多音字的读音。

2.如权利要求1所述的方法，其特征在于，所述多头自注意力语言模型包括N个多头自注意力层，其中，N为大于1的整数；

所述通过所述多头自注意力层对所述输入矩阵进行语义解析，以得到所述输入文本的文本语义信息，包括：

通过所述N个多头自注意力层进行语义解析，其中，所述N个多头自注意力层中第一个多头自注意力层的输入包括所述输入矩阵，所述输入文本的文本语义信息包括所述N个多头自注意力层中最后一个多头自注意力层的输出，且所述N个多头自注意力层中第n个多头自注意力层的输入为第n-1个多头自注意力层的输出，n为大于1小于所述N的整数。

3.如权利要求2所述的方法，其特征在于，每个多头自注意力层中包括多个头，且同一多头自注意力层中不同的头通过不同的线性变换获取到不同角度的语义信息。

4.一种多音字读音预测装置，其特征在于，包括：

解析模块，用于通过多头自注意力语言模型对输入文本进行语义解析，以得到所述输入文本的文本语义信息；

预测模块，用于依据所述文本语义信息预测所述输入文本中多音字的读音；

其中，所述多头自注意力语言模型包括嵌入层和多头自注意力层，所述解析模块，包括：

编码单元，用于通过所述嵌入层对所述输入文本进行编码，以得到所述输入文本对应的输入矩阵；

解析单元，用于通过所述多头自注意力层对所述输入矩阵进行语义解析，以得到所述输入文本的文本语义信息，其中，所述文本语义信息包括所述输入矩阵中每个向量的语义信息；

所述预测模块具体用于通过多音字模型的分类器依据所述文本语义信息预测所述输入文本中多音字的读音，其中，所述多头自注意力语言模型属于所述多音字模型内，所述分类器的输入包括所述文本语义信息，所述分类器的输出包括所述多音字的读音。

5.如权利要求4所述的装置，其特征在于，所述多头自注意力语言模型包括N个多头自注意力层，其中，N为大于1的整数；

所述解析单元用于通过所述N个多头自注意力层进行语义解析，其中，所述N个多头自注意力层中第一个多头自注意力层的输入包括所述输入矩阵，所述输入文本的文本语义信息包括所述N个多头自注意力层中最后一个多头自注意力层的输出，且所述N个多头自注意力层中第n个多头自注意力层的输入为第n-1个多头自注意力层的输出，n为大于1小于所述N的整数。

6.如权利要求5所述的装置，其特征在于，每个多头自注意力层中包括多个头，且同一多头自注意力层中不同的头通过不同的线性变换获取到不同角度的语义信息。

7.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述的方法。

8.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-3中任一项所述的方法。