[发明专利]词汇切分方法、装置、终端设备及存储介质

权利要求书

1.一种词汇切分方法，其特征在于，包括：

响应于接收到待切分语句，以所述待切分语句中的全部内容为识别对象，对所述待切分语句进行实体识别，得到第一词汇集，以及，以所述待切分语句中的全部内容为识别对象，将所述待切分语句与预设字典进行词汇匹配，得到第二词汇集；其中，所述实体识别与所述词汇匹配为用以获取待切分语句中的词汇的两种不同的识别方式，所述第一词汇集为命名实体识别模型从所述待切分语句中的全部词汇中能够提取出的词汇，所述第二词汇集为所述待切分语句中的全部词汇与所述预设字典中的预设词汇之间相匹配的词汇；

根据预设评分规则，分别确定所述第一词汇集和所述第二词汇集中各词汇的切分评分，并将所述第一词汇集中的词汇与所述第二词汇集中的词汇进行组合，得到组合片段；

分别确定所述组合片段中各字符对应的词汇路径，其中，所述词汇路径为相应字符在所述组合片段中形成的字符串，并根据所述切分评分确定各词汇路径的路径分数；

根据各词汇路径的路径分数对所述待切分语句进行词汇切分，得到切分词汇；

所述第二词汇集包括第一子词集和第二子词集，所述将所述待切分语句与预设字典进行词汇匹配，得到第二词汇集，包括：

将所述待切分语句与所述预设字典进行词汇匹配，得到所述第一子词集，并对所述待切分语句进行标点识别，得到语句标点；

根据所述语句标点对所述待切分语句进行段落切分，得到语句段落，并将所述语句段落与所述预设字典进行词汇匹配，得到所述第二子词集；

所述根据预设评分规则，分别确定所述第一词汇集和所述第二词汇集中各词汇的切分评分，包括：

分别将所述第一词汇集、所述第一子词集和所述第二子词集中的词汇与所述预设字典进行词汇匹配；

若所述第一词汇集、所述第一子词集和所述第二子词集中的词汇与所述预设字典不匹配，则将所述第一词汇集、所述第一子词集和所述第二子词集中的词汇对应的字符数设置为所述切分评分；

若所述第一词汇集、所述第一子词集和所述第二子词集中的词汇与所述预设字典相匹配，则将所述第一词汇集、所述第一子词集和所述第二子词集中的词汇对应预设倍数的字符数设置为所述切分评分；

所述将所述第一词汇集中的词汇与所述第二词汇集中的词汇进行组合，得到组合片段，包括：

对所述第一词汇集、所述第一子词集和所述第二子词集中的词汇进行词汇检测，所述词汇检测用于检测所述第一词汇集、所述第一子词集和所述第二子词集之间的词汇是否有重复；

若所述第一词汇集、所述第一子词集和所述第二子词集之间的词汇有重复，则删除重复的词汇；

分别查询所述第一词汇集、所述第一子词集、所述第二子词集中的词汇和所述语句标点在所述待切分语句中的编号；

根据预设排序规则对所述编号对应的所述第一词汇集、所述第一子词集、所述第二子词集中的词汇和所述语句标点进行排序组合，得到所述组合片段。

2.根据权利要求1所述的词汇切分方法，其特征在于，所述分别确定所述组合片段中各字符对应的词汇路径，包括：

在所述组合片段中，分别以各字符为路径终点对所述组合片段进行路径分割，得到路径片段；

将所述路径片段中的不同词汇和/或不同所述语句标点进行组合，得到所述词汇路径。

3.根据权利要求1所述的词汇切分方法，其特征在于，所述分别确定所述组合片段中各字符对应的词汇路径，包括：

在所述组合片段中，分别获取各字符与指定字符之间所形成的字符串，所述指定字符与相应字符之间的字符间隔等于预设间隔；

针对各字符，分别以各字符串中的字符为路径终点对所述组合片段进行路径分割，得到路径片段；

将所述路径片段中的不同词汇和/或不同所述语句标点进行组合，得到所述词汇路径。

4.根据权利要求1所述的词汇切分方法，其特征在于，所述根据所述切分评分确定各词汇路径的路径分数，包括：

分别确定各词汇路径中的词汇对应的所述切分评分，并计算同一词汇路径中所述切分评分的和，得到所述路径分数。