[发明专利]语言模型的训练、预测词的出现概率的方法和装置

说明书

公开了一种语言模型的训练、基于语言模型预测词的出现概率的方法和装置、存储介质和设备，其中的语言模型的训练方法包括：从预训练后的语言模型中获取多元语法；将所述多元语法中的第二个历史词至目标词作为给定历史词，获取所述给定历史词对应的历史状态；将所述给定历史词对应的历史状态存储在所述语言模型中的所述多元语法的目标词的出现概率位置处。本公开实施例有利于提高语言模型的概率预测效率。

技术领域

本公开涉及自然语言处理技术领域，尤其涉及一种语言模型的训练方法和装置、基于语言模型预测词的出现概率的方法和装置、存储介质以及电子设备。

背景技术

在语音识别、机器翻译以及输入法等多种应用中，往往需要利用语言模型来预测目标词出现在相应的给定历史词之后的出现概率。

对于语言模型而言，如何快速准确的获取出现概率，是一个值得关注的技术问题。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种语言模型的训练方法和装置、基于语言模型预测词的出现概率的方法和装置、存储介质以及电子设备。

根据本公开实施例的一个方面，提供一种语言模型的训练方法，包括：从预训练后的语言模型中获取多元语法；将所述多元语法中的第二个历史词至目标词作为给定历史词，获取所述给定历史词对应的历史状态；将所述给定历史词对应的历史状态存储在所述语言模型中的所述多元语法的目标词的出现概率位置处。

根据本公开实施例的另一方面，提供一种基于语言模型预测词的出现概率的方法，包括：从语言模型中的第一多元语法的目标词出现概率位置处，获取所述第一多元语法的目标词出现概率以及第一多元语法中的第二个历史词至目标词形成的给定历史词对应的历史状态；根据所述给定历史词对应的历史状态和第二多元语法的目标词，从所述语言模型中获取所述第二多元语法的目标词出现概率；其中，所述第一多元语法中的第二个历史词至最后一个历史词和目标词，分别是所述第二多元语法中的第一个历史词至最后一个历史词。

根据本公开实施例的另一方面，提供一种语言模型的训练装置，包括：第一获取模块，用于从预训练后的语言模型中获取多元语法；第二获取模块，用于将所述第一获取模块获取到的所述多元语法中的第二个历史词至目标词作为给定历史词，获取所述给定历史词对应的历史状态；状态存储模块，用于将所述第二获取模块获取到的所述给定历史词对应的历史状态存储在所述语言模型中的所述多元语法的目标词的出现概率位置处。

根据本公开实施例的另一方面，提供一种基于语言模型预测词的出现概率的装置，包括：第三获取模块，用于从语言模型中的第一多元语法对应的目标词出现概率位置处，获取所述第一多元语法对应的目标词出现概率以及第一多元语法中的第二个历史词和目标词形成的给定历史词对应的历史状态；第四获取模块，用于根据所述第三获取模块获取到的所述给定历史词对应的历史状态和第二多元语法的目标词，从所述语言模型中获取所述第二多元语法对应的目标词出现概率；其中，所述第一多元语法中的第二个历史词至最后一个历史词和目标词，分别是所述第二多元语法中的第一个历史词至最后一个历史词。

基于本公开上述实施例提供的一种语言模型的训练方法和装置以及基于语言模型预测词的出现概率的方法和装置，通过在语言模型的预训练后的训练过程中，将多元语法中的第二个历史词至目标词作为给定历史词，并将给定历史词对应的历史状态存储在该语言模型中的该多元语法的目标词的出现概率位置处，这样，在利用该语言模型对待预测语料中的第一多元语法的目标词进行出现概率预测时，本公开在成功获得第一多元语法对应的目标词出现概率的同时，可以获得第二多元语法中的第一个历史词至最后一个历史词被作为给定历史词时的历史状态，从而本公开可以利用该历史状态和第二多元语法的目标词，直接从语言模型中获得第二多元语法的目标词的出现概率；因此，本公开有利于避免需要多次计算和多次定位才能获得第二多元语法的目标词的出现概率的现象。由此可知，本公开提供的技术方案有利于提高语言模型的概率预测速度。