[发明专利]基于搜索日志的中文人名自扩展识别方法有效
申请号: | 201210539985.6 | 申请日: | 2012-12-13 |
公开(公告)号: | CN103870489A | 公开(公告)日: | 2014-06-18 |
发明(设计)人: | 吕学强;文彬 | 申请(专利权)人: | 北京信息科技大学 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;G06F17/27 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100192 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 搜索 日志 中文 人名 扩展 识别 方法 | ||
1.基于搜索日志的中文人名自扩展识别方法,其特征在于,包括:
S11 确定目标语料集,也即将用于挖掘人名实体的所有查询日志中查询串集合Q;
S12 构建种子人名集合C,;
S13 根据种子人名集合C及其所在查询串集合Qc,生成候选人名模板集Mc;
S14 利用人名模板在Qc和Q中匹配的查询串条数变化趋势,对人名模板进行筛选,选取适合人名识别的上下文信息,获得人名模板集Mc’;
S15 在查询串集合Q中匹配人名模板集Mc’中的模板,生成候选人名集CN;
S16 对候选人名进行筛选,去除一些干扰的噪音信息,得到可信度较高的人名集合N;
S17 利用人名集合N更新种子人名集合C,迭代上述S12至S16这5个步骤,直到获取的人名的可信度达到一定阈值。
2.根据权利要求1所述的基于搜索日志的中文人名自扩展识别方法,其特征在于,自扩展识别过程是一个迭代过程,一次迭代指的是执行步骤S12至步骤S16的过程。
3.根据权利要求1所述的基于搜索日志的中文人名自扩展识别方法,其特征在于,种子人名的初始构建是基于“姓氏驱动”思想,有效利用查询日志中查询串人名检索词特点,根据种子姓氏所在查询串长度选择种子人名。
4.根据权利要求1所述的基于搜索日志的中文人名自扩展识别方法,其特征在于,候选人名模板集Mc,中需要记录每个候选人名模板在种子人名所在查询串集合Qc中匹配的查询串条数,其元素构成式为:<候选模板M,候选模板M在当前查询串集合Qc内匹配的查询串条数>。
5.根据权利要求1和权利要求4所述的基于搜索日志的中文人名自扩展识别方法,其特征在于,对候选模板集合Mc内的模板按照其在Qc中匹配的查询串条数以递减顺序生成排序集合last,同时也按其在Q中匹配的查询串条数按递减顺序生成排序集合now,对任一模板M,定义一个五元组IM,IM=(M, Rank_now, Rank_now_sum, Rank_last, Rank_last_sum),其中Rank_now表示模板M在排序集合now中的排名,Rank_now_sum表示排序集合now中排名的最大序号,Rank_last表示模板M在排序集合last中的排名,Rank_last_sum表示模板在排序集合last中排名的最大序号。
6.根据权利要求1所述的基于搜索日志的中文人名自扩展识别方法,其特征在于,定义一个用于描述模板对人名区分能力高低的概念区分度,来对候选人名模板进行筛选。
7.根据权利要求1和权利要求6所述的基于搜索日志的中文人名自扩展识别方法,其特征在于,区分度的计算方式为:
。
8.根据权利要求1所述的基于搜索日志的中文人名自扩展识别方法,其特征在于,利用“前向后向关键词匹配方法”对候选人名进行筛选,候选人名串中删除在关键词库中的子串。
9.根据权利要求1和权利要求8所述的基于搜索日志的中文人名自扩展识别方法,其特征在于,关键词库由人民日报分词语料,剔除人名、外文、单字,加入中国省、市、区、县的地名信息而构成。
10.根据权利要求1、权利要求8和权利要求9所述的基于搜索日志的中文人名自扩展识别方法,其特征在于,关键词匹配从前向、后向同时进行,根据语料特点设置最大匹配长度和最小匹配长度。
11.根据权利要求1和权利要求2所述的基于搜索日志的中文人名自扩展识别方法,其特征在于,下一次迭代时利用当前人名集合N更新种子人名集合C,从人名模板集Mc’抽取前n个模板作为下一次迭代的种子模板。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京信息科技大学,未经北京信息科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201210539985.6/1.html,转载请声明来源钻瓜专利网。