[发明专利]分词模型训练方法和装置、及存储介质

权利要求书

1.一种分词模型训练方法，其特征在于，该分词模型训练方法的执行主体为分词模型训练装置，所述方法包括：

获取训练语料；

对所述训练语料中的至少一篇文档进行拆分，获取各个类型对应的语料元素集；所述语料元素集中包括：对所述文档拆分得到的相应类型的至少一个语料元素；

从各个类型对应的语料元素集中抽取语料元素，得到待训练语料元素集；所述待训练语料元素集中，每个类型的语料元素数量满足预设阈值；

对所述待训练语料元素集中的各个语料元素进行分词以及词性标注，得到标注后的待训练语料元素集；

根据所述标注后的待训练语料集对分词模型进行训练；

所述对所述训练语料中的至少一篇文档进行拆分，获取各个类型对应的语料元素集，包括：

对所述至少一篇文档进行拆分，获取至少一个语料元素；

针对每个语料元素，采用N元模型对所述语料元素进行切割，获取所述语料元素中的切割词；

根据任意两个语料元素中相同切割词的数量，计算所述任意两个语料元素之间的距离；

根据各个语料元素之间的距离，对所述至少一个语料元素进行聚类，得到各个类型对应的语料元素集；

所述从各个类型对应的语料元素集中抽取语料元素，得到待训练语料元素集，包括：

针对每个类型对应的语料元素集，在第一次抽取语料元素时，从所述语料元素集中随机抽取语料元素；

在第二次或者多次抽取语料元素时，针对所述语料元素集中的每个剩余语料元素，计算所述剩余语料元素与已抽取的各个语料元素之间的距离之和；将所述剩余语料元素中距离之和的最大值对应的语料元素确定为第二次或者多次抽取的语料元素；或者，

在第二次或者多次抽取语料元素时，针对所述语料元素集中的每个剩余语料元素，计算所述剩余语料元素与已抽取的各个语料元素之间的最小距离；将所述剩余语料元素中最小距离的最大值对应的语料元素确定为第二次或者多次抽取的语料元素。

2.根据权利要求1所述的方法，其特征在于，所述语料元素为：至少一个句子、至少一个段落或者整篇文章。

3.根据权利要求1所述的方法，其特征在于，所述对所述待训练语料元素集中的各个语料元素进行分词以及词性标注，得到标注后的待训练语料元素集，包括：

将所述待训练语料元素集中的各个语料元素输入所述分词模型，获取所述分词模型输出的预标注语料元素集；

对所述预标注语料元素 集中的各个语料元素的分词结果和词性标注结果进行校正，得到标注后的待训练语料元素集。

4.根据权利要求1所述的方法，其特征在于，所述根据所述标注后的待训练语料集对分词模型进行训练之后，还包括：

对所述分词模型进行校验，获取所述分词模型的准确度；

在所述分词模型的准确度未达到设定的准确度阈值时，从各个类型对应的语料元素集中重新抽取语料元素，对所述分词模型进行训练，直至所述分词模型的准确度达到所述准确度阈值为止。

5.根据权利要求4所述的方法，其特征在于，还包括：

在所述分词模型的准确度达到所述准确度阈值时，获取待标注语料；

将所述待标注语料输入所述分词模型，得到所述待标注语料的词性标注结果。