[发明专利]实体名的识别方法和装置有效
申请号: | 201410234622.0 | 申请日: | 2014-05-29 |
公开(公告)号: | CN103995885B | 公开(公告)日: | 2017-11-17 |
发明(设计)人: | 陈丽欧;徐明泉;韩锋;姜世超;周寰;王平;雷绍泽;周丰乐 | 申请(专利权)人: | 百度在线网络技术(北京)有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙)11201 | 代理人: | 宋合成 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 实体 识别 方法 装置 | ||
1.一种实体名的识别方法,其特征在于,包括:
获取待识别文本以及所述待识别文本的来源信息;
根据所述待识别文本的来源信息和识别模型获取所述待识别文本中的第一实体名;
根据预先建立的词根表和预设约束规则从所述待识别文本中非第一实体名的内容中获取第二实体名;
其中,所述根据所述待识别文本的来源信息和识别模型获取所述待识别文本中的第一实体名,具体包括:
根据词根识别模型对所述待识别文本的来源信息进行识别,以获取所述待识别文本的来源信息中的词根;
根据所述词根和预先建立的词缀表获取所述待识别文本中的第一实体名;
其中,所述根据预先建立的词根表和预设约束规则从所述待识别文本中非第一实体名的内容中获取第二实体名,具体包括:
根据所述预先建立的词根表查找所述待识别文本中非第一实体名的内容所包含的词根;
对所述待识别文本中非第一实体名的内容所包含的词根进行筛选;
如果所述待识别文本中非第一实体名的内容所包含的词根为强约束的词根,则直接获取第二实体名,其中,强约束的词根是指在任意情况下都能作为实体名的词根;
如果所述待识别文本中非第一实体名的内容所包含的词根为弱约束的词根,则根据所述预设约束规则获取所述第二实体名,其中,弱约束的词根是指在满足一定的上下文约束条件时才能作为实体名的词根。
2.如权利要求1所述的方法,其特征在于,
所述第一实体名为机构名;
所述第二实体名为品牌名。
3.如权利要求1所述的方法,其特征在于,还包括:
根据实体识别模型对所述待识别文本进行识别,以获取所述待识别文本中的第一实体名。
4.如权利要求1所述的方法,其特征在于,在所述获取待识别文本以及所述待识别文本的来源信息之前,还包括:
收集多个注册实体名;
分别对所述多个注册实体名进行分词,以获取多个分词;
获取所述多个分词的属性特征;
根据所述属性特征从所述多个分词中筛选出所述词根表中的多个词根以及所述词缀表中的多个词缀,以建立所述词根表和所述词缀表。
5.如权利要求1所述的方法,其特征在于,还包括:
获取第一训练语料;
根据所述第一训练语料的词语特征构建第一特征模板;
根据所述第一特征模板和条件随机场模型训练所述词根识别模型。
6.如权利要求3所述的方法,其特征在于,还包括:
根据所述词根表和所述词缀表获取第二训练语料;
根据所述第二训练语料的词语特征构建第二特征模板;
根据所述第二特征模板和条件随机场模型训练所述实体识别模型。
7.一种实体名的识别装置,其特征在于,包括:
获取模块,用于获取待识别文本以及所述待识别文本的来源信息;
第一识别模块,用于根据所述待识别文本的来源信息和识别模型获取所述待识别文本中的第一实体名;
第二识别模块,用于根据预先建立的词根表和预设约束规则从所述待识别文本中非第一实体名的内容中获取第二实体名;
其中,所述第一识别模块具体用于:
根据词根识别模型对所述待识别文本的来源信息进行识别,以获取所述待识别文本的来源信息中的词根;
根据所述词根和预先建立的词缀表获取所述待识别文本中的第一实体名;
其中,所述第二实体模块具体用于:
根据所述预先建立的词根表查找所述待识别文本中非第一实体名的内容所包含的词根;
对所述待识别文本中非第一实体名的内容所包含的词根进行筛选;
如果所述待识别文本中非第一实体名的内容所包含的词根为强约束的词根,则直接获取第二实体名,其中,强约束的词根是指在任意情况下都能作为实体名的词根;
如果所述待识别文本中非第一实体名的内容所包含的词根为弱约束的词根,则根据所述预设约束规则获取所述第二实体名,其中,弱约束的词根是指在满足一定的上下文约束条件时才能作为实体名的词根。
8.如权利要求7所述的装置,其特征在于,
所述第一实体名为机构名;
所述第二实体名为品牌名。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410234622.0/1.html,转载请声明来源钻瓜专利网。