[发明专利]语言模型参数确定方法、装置和计算机设备

说明书

本发明涉及一种语言模型参数确定方法，所述方法包括：获取多个样本文本，结合所述多个样本文本以及预设词库对原始语言模型进行训练获得训练语言模型；从所述预设词库中获取起始词，结合所获取到的起始词和所述训练语言模型获取生成文本，重复获取多个生成文本；将第一预设数量的所述生成文本和第二预设数量的所述样本文本输入预设分类器，获取当前分类准确率；获取当所述当前分类准确率为预设比率时所述训练语言模型的参数。本发明方案能够有效提高语言生成模型优化效率，降低成本。

技术领域

本发明涉及计算机技术领域，特别是涉及一种语言模型参数确定方法、装置和计算机设备。

背景技术

市场很多行业需要大量的行情文章、促销信息、导购文章、新产品上市等文本描述，因此正在尝试采用神经网络类型的语言模型进行语言撰写，但是在神经网络中有众多的参数对程序效果有很大的影响，有的参数影响准确率，有的参数影响训练成本，有的参数影响训练速度。

因此，需要对神经网络参数进行优化，目前市场上都是采用人工依靠过往经验进行多次调整参数来优化，但是人工优化效率低下。

发明内容

本发明的目的在于提供一种语言模型参数确定方法、装置计算机设备，能够自动确定语言生成模型的最优参数，有效提高语言生成模型优化效率，降低成本。

本发明的目的通过如下技术方案实现：

一种语言模型参数确定方法，所述方法包括：

获取多个样本文本，结合所述多个样本文本以及预设词库对原始语言模型进行训练获得训练语言模型；

从所述预设词库中获取起始词，结合所获取到的起始词和所述训练语言模型获取生成文本，重复获取多个生成文本；

将第一预设数量的所述生成文本和第二预设数量的所述样本文本输入预设分类器，获取当前分类准确率；

获取当所述当前分类准确率为预设比率时所述训练语言模型的参数。

在其中一个实施例中，所述结合所述多个样本文本以及预设词库对原始语言模型进行训练获得训练语言模型包括：

结合所述多个样本文本以及预设词库获取输入矩阵和输出矩阵，所述预设词库存储有多个词语；

将所述输入矩阵输入所述原始语言模型，训练所述原始语言模型获得所述训练语言模型，使所述训练语言模型输出所述输出矩阵。

在其中一个实施例中，所述根据所述多个样本文本获取输入矩阵和输出矩阵包括：

删除所述多个样本文本中的特殊字符获得多个预处理文本；

根据所述预设词库将所述每一所述预处理文本转换成对应的预处理向量；

根据每一所述预处理向量获取对应的输入向量和输出向量，分别结合多个预处理向量的输入向量和输出向量获取所述输入矩阵和输出矩阵。

在其中一个实施例中，所述预设次词库中每一所述词语具有对应的数字编号；所述根据所述预设词库将所述每一所述预处理文本转换成对应的预处理向量包括：

将每一所述预处理文本进行分词获得多个目标词语；

查询所述预设词库中与每一所述目标词语相同的词语，获取每一查询到的词语对应的数字编号；

将所述数字编号按照所述目标词语的顺序排序获得对应的预处理向量。

在其中一个实施例中，所述从所述预设词库中获取起始词，结合所获取到的起始词和所述训练语言模型获取生成文本包括：

随机获取所述预设词库中具有起始标记的起始词，结合所述起始词和所述训练语言模型获取与所述起始词连接的生成词语；