[发明专利]分词模型训练方法和装置、及存储介质

说明书

本发明提出一种分词模型训练方法和装置、及存储介质，其中方法包括：获取训练语料；对训练语料中的至少一篇文档进行拆分，获取各个类型对应的语料元素集；从各个类型对应的语料元素集中抽取语料元素，得到待训练语料元素集；待训练语料元素集中，每个类型的语料元素数量满足预设阈值；对待训练语料元素集中的各个语料元素进行分词以及词性标注，并对分词模型进行训练，从而能够采用各种类型的语料元素对分词模型进行训练，避免采用多个相同类型相似内容的训练语料，从而提高了训练得到的分词模型的准确度，降低了人工成本，提高了分词模型的训练效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种分词模型训练方法和装置、及存储介质。

背景技术

目前，分词作为自然语言处理的基础，分词的准确度直接影响自然语言处理的结果。为了获取好的分词结果，需要训练质量好的分词模型，而分词模型的训练需要好的训练语料。

现有技术中，对分词模型进行训练的过程具体可以为，获取训练语料，对训练语料进行人工分词以及词性标注，得到标注后的训练语料，根据标注后的训练语料对分词模型进行训练。然而上述对分词模型进行训练的过程中，训练语料中可能存在大量类型相同且内容相似的训练语料，导致训练语料中的类型不全面，各类型的训练语料的数量可能差别太大，从而降低了训练得到的分词模型的准确度；或者，在分词模型的准确度确定的情况下，增加了需要准备的训练语料的数量，增加了人工成本。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种分词模型训练方法，用于解决现有技术中训练得到的分词模型准确度差，人工成本高的问题。

本发明的第二个目的在于提出一种分词模型训练装置。

本发明的第三个目的在于提出另一种分词模型训练装置。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

本发明的第五个目的在于提出一种计算机程序产品。

为达上述目的，本发明第一方面实施例提出了一种分词模型训练方法，包括：

获取训练语料；

对所述训练语料中的至少一篇文档进行拆分，获取各个类型对应的语料元素集；所述语料元素集中包括：对所述文档拆分得到的相应类型的至少一个语料元素；

从各个类型对应的语料元素集中抽取语料元素，得到待训练语料元素集；所述待训练语料元素集中，每个类型的语料元素数量满足预设阈值；

对所述待训练语料元素集中的各个语料元素进行分词以及词性标注，得到标注后的待训练语料元素集；

根据所述标注后的待训练语料集对分词模型进行训练。

进一步的，所述对所述训练语料中的至少一篇文档进行拆分，获取各个类型对应的语料元素集，包括：

对所述至少一篇文档进行拆分，获取至少一个语料元素；

针对每个语料元素，采用N元模型对所述语料元素进行切割，获取所述语料元素中的切割词；

根据所述切割词，计算任意两个语料元素之间的距离；

根据各个语料元素之间的距离，对所述至少一个语料元素进行聚类，得到各个类型对应的语料元素集。

进一步的，所述语料元素为：至少一个句子、至少一个段落或者整篇文章。

进一步的，所述从各个类型对应的语料元素集中抽取语料元素，得到待训练语料元素集，包括：

针对每个类型对应的语料元素集，在第一次抽取语料元素时，从所述语料元素集中随机抽取语料元素；