[发明专利]分词模型训练方法和装置、及存储介质有效
申请号: | 201711450699.1 | 申请日: | 2017-12-27 |
公开(公告)号: | CN108038108B | 公开(公告)日: | 2021-12-10 |
发明(设计)人: | 李玉信;崔朝辉;赵立军;张霞 | 申请(专利权)人: | 东软集团股份有限公司 |
主分类号: | G06F40/289 | 分类号: | G06F40/289 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 张润 |
地址: | 110179 辽*** | 国省代码: | 辽宁;21 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明提出一种分词模型训练方法和装置、及存储介质,其中方法包括:获取训练语料;对训练语料中的至少一篇文档进行拆分,获取各个类型对应的语料元素集;从各个类型对应的语料元素集中抽取语料元素,得到待训练语料元素集;待训练语料元素集中,每个类型的语料元素数量满足预设阈值;对待训练语料元素集中的各个语料元素进行分词以及词性标注,并对分词模型进行训练,从而能够采用各种类型的语料元素对分词模型进行训练,避免采用多个相同类型相似内容的训练语料,从而提高了训练得到的分词模型的准确度,降低了人工成本,提高了分词模型的训练效率。 | ||
搜索关键词: | 分词 模型 训练 方法 装置 存储 介质 | ||
【主权项】:
1.一种分词模型训练方法,其特征在于,包括:获取训练语料;对所述训练语料中的至少一篇文档进行拆分,获取各个类型对应的语料元素集;所述语料元素集中包括:对所述文档拆分得到的相应类型的至少一个语料元素;从各个类型对应的语料元素集中抽取语料元素,得到待训练语料元素集;所述待训练语料元素集中,每个类型的语料元素数量满足预设阈值;对所述待训练语料元素集中的各个语料元素进行分词以及词性标注,得到标注后的待训练语料元素集;根据所述标注后的待训练语料集对分词模型进行训练。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东软集团股份有限公司,未经东软集团股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201711450699.1/,转载请声明来源钻瓜专利网。