[发明专利]中文单字串模式和词缀模式的新词自动识别技术及系统无效
| 申请号： | 201110236723.8 | 申请日： | 2011-08-18 |
| 公开（公告）号： | CN102955771A | 公开（公告）日： | 2013-03-06 |
| 发明（设计）人： | 吕钊;蒋鑫;曹艳娇 | 申请（专利权）人： | 华东师范大学 |
| 主分类号： | G06F17/27 | 分类号： | G06F17/27 |
| 代理公司： | 隆天国际知识产权代理有限公司 72003 | 代理人： | 吴世华;冯志云 |
| 地址： | 200241 *** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种中文单字串模式和词缀模式的新词自动识别技术及系统，即基于大规模短文本语料库的单字串模式和词缀模式的中文新词识别方法，采用了统计和规则相结合的方法。主要是将新词的形成模式与统计其词频相结合，分成了单字串模式和词缀模式，分别采用不同的提取方法，不同的新词过滤方法，最后结合词频信息，提取两种模式的中文新词。 | ||
| 搜索关键词： | 中文 字串 模式 词缀 新词 自动识别 技术 系统 | ||
【主权项】：
一种中文单字串模式和词缀模式的新词自动识别技术及系统，通过分析短文本中出现新词的规律，基于大规模短文本语料库，自动识别短文本中的新词，其包括如下步骤：a. 对大规模短文本进行中文分词，并将每一条短文本的分词碎片相适应地存储；b. 对于每一条短文本的分词碎片进行分析，查找碎片中的单字串潜在新词以及词缀模式潜在新词；c. 对于单字串潜在新词，首先提取单字串潜在新词对应的最长潜在新词，统计每个最长潜在新词出现的频次，存入单字串潜在新词集；然后根据最长潜在新词及其频次，提取最长潜在新词的每个子串，统计每个子串的频次，存入单字串潜在新词集；d. 对于词缀模式的潜在新词，提取每个词缀模式潜在新词，统计每个词缀模式的频次，存入词缀模式潜新词集中；e. 对于所述的单字串潜在新词集和词缀模式潜在新词集中的对象分别进行过滤操作；f. 对于每个潜在新词，若其频次大于第一阀值，则将该潜在新词作为所述中文新词。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华东师范大学，未经华东师范大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201110236723.8/，转载请声明来源钻瓜专利网。
