[发明专利]一种基于重复字串的微博新词非监督自动抽取方法在审
| 申请号： | 201310719081.6 | 申请日： | 2013-12-23 |
| 公开（公告）号： | CN103678656A | 公开（公告）日： | 2014-03-26 |
| 发明（设计）人： | 孙晓;李承程;叶嘉麒;唐陈意;任福继 | 申请（专利权）人： | 合肥工业大学 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30;G06F17/27 |
| 代理公司： | 北京科亿知识产权代理事务所(普通合伙) 11350 | 代理人： | 汤东凤 |
| 地址： | 230001 *** | 国省代码： | 安徽;34 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 基于 重复 字串 新词 监督 自动 抽取 方法 | ||
【权利要求书】：
1.一种基于重复字串的微博新词非监督自动抽取方法，其特征在于：先对待处理的微博文档进行文本切分，利用动态规划的分词方法切分文本，切分出待识别的字串，将待识别字串中切词碎片组合，组合成待识别的新词，然后根据统计选词模型从待识别的字串提取出候选新词，紧接着利用规则过滤模型对候选词进行过滤，最后得到最终的新词。
2.按照权利要求1所述一种基于重复字串的微博新词非监督自动抽取方法，其特征在于：所述动态规划的分词方法为：首先用最长次匹配法切分待处理文本，建立候选词路径有向图，然后计算图中每个节点的代价值，接着利用Dijkastra算法计算出最小代价路径，得到最佳切词路径。
3.按照权利要求2所述一种基于重复字串的微博新词非监督自动抽取方法，其特征在于：所述统计选词模型基于大量微博语料进行统计，包括基于局部重复字串的特征和基于全局用词信息的特征；基于局部重复字串的特征包括：字串共现次数和基于字串共现次数的互信息；基于全局用词信息的特征包括成词率、位置相关成词率、构词相似度。
4.按照权利要求1所述一种基于重复字串的微博新词非监督自动抽取方法，其特征在于：所述规则过滤模型包括停用词表、姓氏成词率的调整规则、量词词首停用的规则。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于合肥工业大学，未经合肥工业大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201310719081.6/1.html，转载请声明来源钻瓜专利网。
