[发明专利]语言模型参数确定方法、装置和计算机设备

权利要求书

1.一种语言模型参数确定方法，其特征在于，所述方法包括：

获取多个样本文本，结合所述多个样本文本以及预设词库对原始语言模型进行训练获得训练语言模型，包括：

结合所述多个样本文本以及预设词库获取输入矩阵和输出矩阵；所述预设词库存储有多个词语，每一所述词语具有对应的数字编号，所述预设词库用于将所述多个样本文本转换成对应的多个预处理向量，所述多个预处理向量用于确定所述输入矩阵和所述输出矩阵；

将所述输入矩阵输入原始语言模型，训练所述原始语言模型获得所述训练语言模型，使所述训练语言模型输出所述输出矩阵；

从所述预设词库中获取起始词，结合所获取到的起始词和所述训练语言模型获取生成文本，重复获取多个生成文本；

将第一预设数量的所述生成文本和第二预设数量的所述样本文本输入预设分类器，获取当前分类准确率；

获取当所述当前分类准确率为预设比率时所述训练语言模型的参数。

2.根据权利要求1所述的语言模型参数确定方法，其特征在于，所述结合所述多个样本文本以及预设词库获取输入矩阵和输出矩阵包括：

删除所述多个样本文本中的特殊字符获得多个预处理文本；

根据所述预设词库将每一所述预处理文本转换成对应的预处理向量；

根据每一所述预处理向量获取对应的输入向量和输出向量，分别结合多个预处理向量的输入向量和输出向量获取所述输入矩阵和输出矩阵。

3.根据权利要求2所述的语言模型参数确定方法，其特征在于，所述预设词库中每一所述词语具有对应的数字编号；所述根据所述预设词库将每一所述预处理文本转换成对应的预处理向量包括：

将每一所述预处理文本进行分词获得多个目标词语；

查询所述预设词库中与每一所述目标词语相同的词语，获取每一查询到的词语对应的数字编号；

将所述数字编号按照所述目标词语的顺序排序获得对应的预处理向量。

4.根据权利要求1所述的语言模型参数确定方法，其特征在于，所述从所述预设词库中获取起始词，结合所获取到的起始词和所述训练语言模型获取生成文本包括：

随机获取所述预设词库中具有起始标记的起始词，结合所述起始词和所述训练语言模型获取与所述起始词连接的生成词语；

结合当前已获取的生成词语和所述训练语言学习模型获取与当前已获取的生成词语连接的当前生成词语；

当所述当前生成词语带有结束标记时，将所述起始词和已获取到的全部生成词语按照获取顺序依次连接形成所述生成文本；

当所述当前生成词语没有所述结束标记时，将所述当前生成词语作为新的上一生成词语，返回所述结合当前已获取的生成词语和所述训练语言学习模型获取与当前已获取的生成词语连接的当前生成词语的步骤。

5.根据权利要求1所述的语言模型参数确定方法，其特征在于，所述获取当所述当前分类准确率为预设比率时所述训练语言模型的参数包括：

当所述当前分类准确率不是预设比率时，调整所述训练语言模型的参数并返回所述结合所获取到的起始词和所述训练语言模型获取生成文本的步骤；

当所述当前分类准确率为预设比率时，获取所述训练语言模型的参数。

6.根据权利要求1所述的语言模型参数确定方法，其特征在于，所述第一预设数量和所述第二预设数量相同，所述预设比率为50％。