[发明专利]基于模型训练的分词方法、装置、设备以及介质

权利要求书

1.一种基于模型训练的分词方法，其特征在于，包括：

选取目标领域对应的待分词样本数据；

确定所述待分词样本数据对应的具有标注信息的各个分词序列；

基于所述标注信息确定与所述各个分词序列对应的分词依据信息，所述分词依据信息包括词位依据信息和上下文依据信息；

根据所述待分词样本数据和所述分词依据信息训练分词模型，得到训练好的分词模型，所述训练好的分词模型用于根据输入的文本数据输出相应的分词序列。

2.根据权利要求1所述的方法，其特征在于，所述确定所述待分词样本数据对应的具有标注信息的各个分词序列，包括：

对所述待分词样本数据进行语义识别，得到样本关键信息；

在所述目标领域对应的信息库中查找与所述样本关键信息相匹配的具有标注信息的各个分词序列。

3.根据权利要求1所述的方法，其特征在于，所述基于所述标注信息确定与所述各个分词序列对应的分词依据信息，包括：

对于每个分词序列，基于所述标注信息识别所述分词序列中的各个词语的词性信息和词义信息；

根据所述分词序列中的所述词性信息和所述词义信息得到词位依据信息，以及根据所述分词序列和相邻序列的所述词性信息和所述词义信息，得到上下文依据信息。

4.根据权利要求1至3任一项所述的方法，其特征在于，在所述根据所述待分词样本数据和所述分词依据信息训练分词模型，得到训练好的分词模型之后，还包括：

将属于所述目标领域的目标文本数据输入所述训练好的分词模型，得到所述目标文本数据对应的目标分词序列。

5.根据权利要求4所述的方法，其特征在于，在所述将属于所述目标领域的目标文本数据输入所述训练好的分词模型，得到所述目标文本数据对应的目标分词序列之后，还包括：

根据所述目标领域对应的信息库中的领域专业词语信息，对所述目标分词序列中的非专业用语进行替换，得到替换后的目标分词序列；

输出所述替换后的目标分词序列。

6.一种基于模型训练的分词装置，其特征在于，包括：

数据选取单元，用于选取目标领域对应的待分词样本数据；

序列确定单元，用于确定所述待分词样本数据对应的具有标注信息的各个分词序列；

依据确定单元，用于基于所述标注信息确定与所述各个分词序列对应的分词依据信息，所述分词依据信息包括词位依据信息和上下文依据信息；

模型获取单元，用于根据所述待分词样本数据和所述分词依据信息训练分词模型，得到训练好的分词模型，所述训练好的分词模型用于根据输入的文本数据输出相应的分词序列。

7.根据权利要求6所述的装置，其特征在于，所述序列确定单元用于确定所述待分词样本数据对应的具有标注信息的各个分词序列的方式具体为：

对所述待分词样本数据进行语义识别，得到样本关键信息；

在所述目标领域对应的信息库中查找与所述样本关键信息相匹配的具有标注信息的各个分词序列。

8.根据权利要求6所述的装置，其特征在于，所述依据确定单元用于基于所述标注信息确定与所述各个分词序列对应的分词依据信息的方式具体为：

对于每个分词序列，基于所述标注信息识别所述分词序列中的各个词语的词性信息和词义信息；

根据所述分词序列中的所述词性信息和所述词义信息得到词位依据信息，以及根据所述分词序列和相邻序列的所述词性信息和所述词义信息，得到上下文依据信息。

9.一种基于模型训练的分词设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至5任一项中所述的方法。

10.一种计算机可读的存储介质，所述存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至5任一项中所述的方法。