[发明专利]文本关键词提取方法、模型的训练方法、装置和电子设备

权利要求书

1.一种文本关键词提取方法，其特征在于，所述文本关键词用于数据元对标；所述方法包括：

获取待处理文本包含的待处理注释信息；

将所述待处理注释信息输入已训练的关键词识别模型，得到所述待处理注释信息的所述文本关键词；

所述关键词识别模型是采用训练样本数据对语言提取模型进行训练得到的，所述训练样本数据包括带有关键词标签的字段注释文本，所述语言提取模型用于获取输入注释信息的关键词，且语言提取模型的目标损失函数收敛至预设的目标条件时获得已训练的关键词识别模型；所述目标损失函数为截断交叉熵损失函数；所述截断交叉熵损失函数为使第一类样本对应的损失值收敛，且使第二类样本对应的损失值不收敛的交叉熵损失函数；所述第一类样本的预测概率落入第一控制值和第二控制值之间的概率控制区域；所述第二类样本的预测概率未落入所述概率控制区域。

2.根据权利要求1所述的方法，其特征在于，所述关键词识别模型通过如下方式训练得到：

获得训练样本数据，所述训练样本数据包括带有关键词标签的字段注释文本；

基于所述训练样本数据，选取批次训练语料；所述批次训练语料包括所述字段注释文本中的一部分；

将所述批次训练语料输入待训练的语言提取模型进行训练，并确定所述待训练的语言提取模型的目标损失函数的识别损失值；所述目标损失函数为截断交叉熵损失函数；所述截断交叉熵损失函数为使第一类样本对应的损失值收敛，且使第二类样本对应的损失值不收敛的交叉熵损失函数；所述第一类样本的预测概率落入第一控制值和第二控制值之间的概率控制区域；所述第二类样本的预测概率未落入所述概率控制区域；所述预测概率表征所述批次训练语料的关键词为所述关键词标签的概率；

若确定所述批次训练语料为所述第二类样本，则不调整待训练的语言提取模型的参数并进行再次训练；

若确定所述批次训练语料为所述第一类样本，则判断所述识别损失值是否收敛至预设的目标值，如果判断结果为否，则根据确定的识别损失值对待训练的语言提取模型的参数进行调整并进行再次训练；如果判断结果为是，则结束训练，得到已训练的关键词识别模型。

3.根据权利要求2所述的方法，其特征在于，所述获得训练样本数据之前，所述方法还包括：

收集目标领域的文本数据集；

基于所述文本数据集，对预设的语言模型进行无监督语言模型训练，得到所述语言提取模型。

4.一种关键词识别模型的训练方法，其特征在于，用于生成权利要求1中所使用的关键词识别模型，所述训练方法包括：

获得训练样本数据，所述训练样本数据包括带有关键词标签的字段注释文本；

基于所述训练样本数据，选取批次训练语料；所述批次训练语料包括所述字段注释文本中的一部分；

将所述批次训练语料输入待训练的语言提取模型进行训练，并确定所述待训练的语言提取模型的目标损失函数的识别损失值；所述目标损失函数为截断交叉熵损失函数；所述截断交叉熵损失函数为使第一类样本对应的损失值收敛，且使第二类样本对应的损失值不收敛的交叉熵损失函数；所述第一类样本的预测概率落入第一控制值和第二控制值之间的概率控制区域；所述第二类样本的预测概率未落入所述概率控制区域；所述预测概率表征所述批次训练语料的关键词为所述关键词标签的概率；

若确定所述批次训练语料为所述第一类样本，则判断所述识别损失值是否收敛至预设的目标值，如果判断结果为是，则结束训练，得到已训练的关键词识别模型，如果判断结果为否，则根据确定的识别损失值对待训练的语言提取模型的参数进行调整并进行再次训练；以及，若确定所述批次训练语料为所述第二类样本，则不调整待训练的语言提取模型的参数并进行再次训练。

5.根据权利要求4所述的训练方法，其特征在于，所述获得训练样本数据之前，所述方法还包括：

收集目标领域的文本数据集；

基于所述文本数据集，对预设的语言模型进行无监督语言模型训练，得到所述语言提取模型。