[发明专利]一种短语分割模型的训练方法和系统

说明书

本说明书的实施例公开了一种短语分割模型的训练方法和系统，所述方法包括：基于公共知识库获取至少一个目标短语，目标短语包含至少两个词；基于目标短语从公共知识库中获取至少一个第一文本，第一文本包含目标短语；基于第一文本获取非目标短语，非目标短语为第一文本的一部分，且不同于目标短语；将目标短语和第一文本构成的文本对作为正样本，非目标样本和第一文本构成的文本对作为负样本；基于多组正样本和负样本训练得到短语分割模型。

技术领域

本申请涉及自然语言处理领域，特别涉及一种短语分割模型的训练的方法和系统。

背景技术

短语分割是自然语言处理（NLP，Natural Language Processing）领域的常见任务之一。短语分割常常用于文本检索、文本摘要、文本分类和文本相似性计算等任务中，以便服务于问答匹配、气泡推荐等场景。一般而言，可以通过机器学习模型进行短语分割，然而，不同领域存在各自的专业词汇，且差异很大。

因此，希望提供一种更有效的短语分割模型的训练方法。

发明内容

本说明书一个方面提供一种短语分割模型的训练方法，所述方法包括：基于公共知识库获取至少一个目标短语，所述目标短语包含至少两个词；基于所述目标短语从所述公共知识库中获取至少一个第一文本，所述第一文本包含所述目标短语；基于所述第一文本获取非目标短语，所述非目标短语为所述第一文本的一部分，且不同于所述目标短语；将所述目标短语和所述第一文本构成的文本对作为正样本，所述非目标样本和所述第一文本构成的文本对作为负样本；基于多组所述正样本和所述负样本训练得到短语分割模型。

本说明书另一个方面提供一种短语分割模型的训练系统，所述系统包括：目标短语获取模块，用于基于公共知识库获取至少一个目标短语，所述目标短语包含至少两个词；第一文本获取模块，用于基于所述目标短语从所述公共知识库中获取至少一个第一文本，所述第一文本包含所述目标短语；非目标短语获取模块，用于基于所述第一文本获取非目标短语，所述非目标短语为所述第一文本的一部分，且不同于所述目标短语；样本获取模块，用于将所述目标短语和所述第一文本构成的文本对作为正样本，所述非目标样本和所述第一文本构成的文本对作为负样本；训练模块，用于基于多组所述正样本和所述负样本训练得到短语分割模型。

本说明书另一个方面提供一种短语分割模型的训练装置，包括至少一个存储介质和至少一个处理器；所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以实现短语分割模型的训练方法。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的示例性短语分割模型的训练系统的应用场景示意图；

图2是根据本说明书一些实施例所示的短语分割模型的训练方法的示例性流程图；

图3是根据本说明书一些实施例所示的示例性短语分割模型获取判定短语的示意图；

图4是根据本说明书一些实施例所示的示例性短语分割模型的判别过程的示意图；

图5是根据本说明书一些实施例所示的短语分割模型的分割效果的示意图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。