[发明专利]一种短语分割模型的训练方法和系统

权利要求书

1.一种短语分割模型的训练方法，包括：

基于公共知识库获取至少一个目标短语，所述目标短语包含至少两个词；

基于所述目标短语从所述公共知识库中获取至少一个第一文本，所述第一文本包含所述目标短语；

基于所述第一文本获取非目标短语，所述非目标短语为所述第一文本的一部分，且不同于所述目标短语；

将所述目标短语和所述第一文本构成的文本对作为正样本，所述非目标短语和所述第一文本构成的文本对作为负样本；

基于多组所述正样本和所述负样本训练得到短语分割模型。

2.如权利要求1所述的方法，所述非目标短语包含所述目标短语的一部分。

3.如权利要求1所述的方法，所述方法还包括：

获取第二文本；

所述短语分割模型以所述第二文本的第一个词为起始词，重复执行判别过程获取判定短语，直到所述判定短语包含所述第二文本的最后一个词，并将所述判定短语作为所述第二文本的短语分割结果。

4.如权利要求3所述的方法，所述判别过程包括：

基于所述起始词获取候选短语集；

所述短语分割模型基于所述候选短语集和所述第二文本，确定所述判定短语；

如果所述判定短语包含所述第二文本的最后一个词，则所述判别过程结束，否则基于所述判定短语获取新的起始词，并重复执行所述判别过程，其中，所述新的起始词包括所述第二文本中位于所述判定短语之后的下一个词。

5.如权利要求4所述的方法，所述基于所述判定短语获取新的起始词包括：

将所述第二文本中位于所述判定短语之后的下一个词作为所述新的起始词。

6.如权利要求4所述的方法，所述短语分割模型由向量表示模型和分类模型构成，所述短语分割模型基于所述候选短语集和所述第二文本，确定所述判定短语包括：

所述向量表示模型基于输入的短语文本对提取特征向量，所述短语文本对是由所述候选短语集中的候选短语和所述第二文本构成；

所述分类模型基于所述特征向量确定所述候选短语是否为所述判定短语。

7.如权利要求6所述的方法，所述向量表示模型为BERT模型。

8.一种短语分割模型的训练系统，包括：

目标短语获取模块，用于基于公共知识库获取至少一个目标短语，所述目标短语包含至少两个词；

第一文本获取模块，用于基于所述目标短语从所述公共知识库中获取至少一个第一文本，所述第一文本包含所述目标短语；

非目标短语获取模块，用于基于所述第一文本获取非目标短语，所述非目标短语为所述第一文本的一部分，且不同于所述目标短语；

样本获取模块，用于将所述目标短语和所述第一文本构成的文本对作为正样本，所述非目标短语和所述第一文本构成的文本对作为负样本；

训练模块，用于基于多组所述正样本和所述负样本训练得到短语分割模型。

9.如权利要求8所述的系统，所述非目标短语包含所述目标短语的一部分。

10.如权利要求8所述的系统，所述系统还包括：

第二文本获取模块，用于获取第二文本；

判别模块，用于所述短语分割模型以所述第二文本的第一个词为起始词，重复执行判别过程获取判定短语，直到所述判定短语包含所述第二文本的最后一个词，并将所述判定短语作为所述第二文本的短语分割结果。

11.如权利要求10所述的系统，所述判别模块用于：

基于所述起始词获取候选短语集；

所述短语分割模型基于所述候选短语集和所述第二文本，确定所述判定短语；

如果所述判定短语包含所述第二文本的最后一个词，则所述判别过程结束，否则基于所述判定短语获取新的起始词，并重复执行所述判别过程，其中，所述新的起始词包括所述第二文本中位于所述判定短语之后的下一个词。