[发明专利]一种基于类型论的汉语分词方法无效
申请号: | 200910078879.0 | 申请日: | 2009-03-05 |
公开(公告)号: | CN101499058A | 公开(公告)日: | 2009-08-05 |
发明(设计)人: | 高东平;牛振东;江鹏;吕乐宁;郭佳宏 | 申请(专利权)人: | 北京理工大学 |
主分类号: | G06F17/27 | 分类号: | G06F17/27 |
代理公司: | 北京理工大学专利中心 | 代理人: | 张利萍 |
地址: | 100081北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 类型 汉语 分词 方法 | ||
1.一种基于类型论的汉语分词方法,其特征在于其具体实现步骤如下:
步骤一、给出相关概念的定义
步骤二、进行汉语全类型设计
在步骤一相关概念定义的基础上,根据汉语的语言学知识、句法特点及分词系统的实际需要,进行汉语全类型设计;
步骤三、构造词典
在步骤二汉语全类型设计完成的基础上,构造词典;
步骤四、对输入的句子进行全切分
在步骤三词典构造完成的基础上,对输入的句子进行全切分;
步骤五、识别前后缀类型、未登录词、交叉歧义字段、组合歧义字段
根据步骤四中全切分的排序结果,依次进行前后缀类型、未登录词、交叉歧义字段、组合歧义字段识别;
步骤六、执行合并算法
在步骤五前后缀类型、未登录词、交叉歧义字段、组合歧义字段识别的基础上,对“有前后缀类型或未登录词”的情况执行合并算法;
步骤七、执行类型函数贴合算法
首先制定类型函数贴合算法的类型贴合规则,然后在步骤五前后缀类型、未登录词、交叉歧义字段、组合歧义字段识别的基础上,对“只有歧义(这里指交叉歧义或组合歧义)”的情况和步骤六中执行合并算法后的结果,执行类型函数贴合算法;
步骤八、统计校正
在步骤七执行类型函数贴合算法,判断出是真歧义时进行统计校正;本发明采用已有技术中的词频统计方法进行校正;
步骤九、输出结果。
2.根据权利要求1所述的一种基于类型论的汉语分词方法,其特征在于步骤一中相关概念的定义为:
定义1:汉语类型的集合S是最小集,使得:
(1)e和t为基本类型;f为辅助类型;
(2)如果a,b为辅助类型之外的类型,则(ab)为类型;
(3)如果a,b之中存在辅助类型,若a,b之间存在匹配规则,则(ab)为类型;
其中f={f1,f2,f3,f4,n,q,p,s,x};其中,f1,f2,f3主要指函数类型;x类型主要包括助动词,叹词,拟声词,助词,语气词等,n指数词;q指量词;p,s分别指前、后缀;
定义2(函数贴合):令g是类型为ab的表达式,如果α是类型为a的表达式,那么g(a),g(b)分别是类型为b和a的表达式;
定义3:一个句子是真歧义的当且仅当有两种不同的切分方式使得每一种类型函数贴合后的结果都是t;
定义4:一个切分是正确的,当且仅当存在一种贴合方式使得类型函数贴合的最后结果是t;一个切分是可接受的,当且仅当它存在一种贴合方式可以得到一个类型函数贴合结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京理工大学,未经北京理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/200910078879.0/1.html,转载请声明来源钻瓜专利网。