[发明专利]一种词条权重计算模型训练方法及装置

说明书

本申请公开了一种词条权重计算模型训练方法及装置，该方法对获取的样本语句集合中的每条样本语句进行拆分得到每条样本语句各自对应的词条序列，词条序列包括样本语句拆分后得到的至少一个词条；确定每条词条序列中每个词条的相对重要程度；根据每条词条序列中每个词条的相对重要程度对每条词条序列中的词条进行分组，得到每条词条序列各自对应的标注序列，其包括词条序列中的词条分组后得到的至少一个词条组，词条组包括至少一个词条；根据每条标注序列对预设的词条权重计算模型进行训练，得到词条权重计算模型中模型参数的取值。上述基于每条词条序列中的每个词条的相对重要程度得到的标注序列更为准确，提高了词条权重计算模型的准确性。

技术领域

本申请涉及数据处理技术领域，更具体地说，涉及一种词条权重计算模型训练方法及装置。

背景技术

词条权重计算是一项重要的自然语言处理工作，其计算的准确性直接影响关键词抽取、标签提取、搜索排序等的性能。其中词条权重计算可通过词条权重计算模型，目前词条权重计算模型可通过监督学习方法得到，在得到词条权重计算模型过程中，需要对词条权重计算模型使用的样本语句进行标注，其标注过程如下：

首先，将词条权重分为若干个级别即确定权重级别个数，然后对样本语句对应的词条序列中的每个词条进行权重级别标注，如按照5个权重级别对词条进行标注，词条的最低权重级别为level1级别，最高权重级别为level5级别，进而基于标注的词条的权重级别和词条的特征向量训练词条权重计算模型。

上述方法中，设置权重级别个数相当于是利用分类的方法计算词条权重，但分类方法确定的是词条的绝对重要级别，即是在所有样本语句内确定词条的重要性高低，标注的准确性较低，导致训练得到的词条权重计算模型不准确。

发明内容

有鉴于此，本申请提供一种词条权重计算模型训练方法及装置，以提高词条权重计算模型的准确性。

为了实现上述目的，现提出的方案如下：

一种词条权重计算模型训练方法，所述方法包括：

获取样本语句集合；

对所述样本语句集合中的每条样本语句进行拆分，得到每条样本语句各自对应的词条序列，所述词条序列包括所述样本语句拆分后得到的至少一个词条；

确定每条词条序列中每个词条的相对重要程度；

根据每条词条序列中每个词条的相对重要程度，对每条词条序列中的词条进行分组，得到每条词条序列各自对应的标注序列，所述标注序列包括所述词条序列中的词条分组后得到的至少一个词条组，所述词条组包括至少一个词条；

根据每条标注序列，对预设的词条权重计算模型进行训练，得到所述词条权重计算模型中模型参数的取值。

一种词条权重计算模型训练装置，所述装置包括：

获取单元，用于获取样本语句集合；

拆分单元，用于对所述样本语句集合中的每条样本语句进行拆分，得到每条样本语句各自对应的词条序列，所述词条序列包括所述样本语句拆分后得到的至少一个词条；

确定单元，用于确定每条词条序列中每个词条的相对重要程度；

分组单元，用于根据每条词条序列中每个词条的相对重要程度，对每条词条序列中的词条进行分组，得到每条词条序列各自对应的标注序列，所述标注序列包括所述词条序列中的词条分组后得到的至少一个词条组，所述词条组包括至少一个词条；

训练单元，用于根据每条标注序列，对预设的词条权重计算模型进行训练，得到所述词条权重计算模型中模型参数的取值。