[发明专利]一种汉语句子功能成分分析方法有效
申请号: | 201710077125.8 | 申请日: | 2017-02-13 |
公开(公告)号: | CN106844348B | 公开(公告)日: | 2020-01-17 |
发明(设计)人: | 赵铁军;曹海龙;王亚楠;徐冰;朱聪慧;杨沐昀;郑德权;马春鹏 | 申请(专利权)人: | 哈尔滨工业大学 |
主分类号: | G06F40/205 | 分类号: | G06F40/205;G06F40/16 |
代理公司: | 23109 哈尔滨市松花江专利商标事务所 | 代理人: | 杨立超 |
地址: | 150001 黑龙*** | 国省代码: | 黑龙;23 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 汉语 句子 功能 成分 分析 方法 | ||
1.一种汉语句子功能成分分析方法,其特征在于:一种汉语句子功能成分分析方法具体过程为:
步骤一、对训练语料进行处理,其中训练语料采用CTB5.0,通过正则匹配的方式对CTB5.0进行转化,转化成带有功能成分标签的形式,对带有功能成分标签形式的句子进行修正,得到修正后的语料;将修正后的语料转化成基于字粒度的形式,作为训练数据A;
CTB5.0为汉语宾州树库;
步骤二、将整个功能成分分析过程考虑成一系列状态转移的过程,得到句法功能成分分析器,将训练数据A输入句法功能成分分析器进行训练得到汉语句子功能成分分析模型C;
步骤三、根据汉语句子功能成分分析模型C对纯汉语文本数据进行处理,得到带有功能成分标签的句子,对带有功能成分标签的句子进行修正,得到修正后的语料;将修正后的语料转化成基于字粒度的形式,作为训练数据B,将训练数据A与训练数据B相结合作为最终的训练数据;
步骤四、将最终的训练数据输入句法功能成分分析器进行训练得到汉语句子功能成分分析模型D,采用汉语句子功能成分分析模型D对待测试汉语句子进行测试,得到测试结果。
2.根据权利要求1所述一种汉语句子功能成分分析方法,其特征在于:所述步骤一中对训练语料进行处理,其中训练语料采用CTB5.0,通过正则匹配的方式对CTB5.0进行转化,转化成带有功能成分标签的形式,对带有功能成分标签形式的句子进行修正,得到修正后的语料;将修正后的语料转化成基于字粒度的形式,作为训练数据A;具体过程为:
对训练语料进行处理,其中训练语料采用CTB5.0,通过正则匹配的方式对CTB5.0进行转化,转化成带有功能成分标签的形式,功能成分标签包括句子的主语、谓语、宾语、状语、定语、补语、中心语功能成分;对带有功能成分标签形式的句子中功能成分标签标错或漏标的进行修正,得到修正后的语料;
将修正后的语料内部汉字之间添加方向信息,生成汉字粒度的句法树,作为训练数据A。
3.根据权利要求2所述一种汉语句子功能成分分析方法,其特征在于:所述步骤二中句法功能成分分析器的分析过程为;
每个状态由一个栈和一个队列组成,栈中保存着已经生成的句法功能成分树片段,队列中保存着尚未处理的汉字;
初始状态下,栈为空,队列中元素的个数与句子中汉字的个数相同;
每个状态转移的动作根据平均感知器在预先定义好的动作集合中选择,
定义好的动作集合为移进-分裂、移进-附着、归约-一元、归约-二元、归约-单词、归约-子单词、停顿、终结,平均感知器通过计算当前状态下每个动作的得分,采用柱搜索策略进行选择;
平均感知器当前状态下每个动作的得分为特征向量与平均感知器的权值向量的点积,特征向量为根据定义好的特征模板对待检测汉语句子进行特征向量提取得到的;
终止状态下,队列为空,栈中只有唯一的IP,IP为句法功能成分树的根节点,在训练终止后得到汉语句子功能成分分析模型C,解码终止后得到一棵完整的句法功能成分树。
4.根据权利要求3所述一种汉语句子功能成分分析方法,其特征在于:所述步骤三中根据汉语句子功能成分分析模型C对纯汉语文本数据进行功能成分分析,得到带有功能成分标签的句子,对带有功能成分标签的句子进行修正,得到修正后的语料;将修正后的语料转化成基于字粒度的形式,作为训练数据B,将训练数据A与训练数据B相结合作为最终的训练数据;具体过程为:
根据汉语句子功能成分分析模型C对数据纯汉语文本进行功能成分分析,得到带有功能成分标签的句子,功能成分标签包括句子的主语、谓语、宾语、状语、定语、补语、中心语功能成分;对功能成分标签中功能成分标错或漏标的进行修正,得到修正后的语料;将修正后的语料内部汉字之间添加方向信息,生成汉字粒度的句法树,作为训练数据B;将训练数据A与训练数据B相加作为最终的训练数据。
5.根据权利要求4所述一种汉语句子功能成分分析方法,其特征在于:所述步骤四中将最终的训练数据输入句法功能成分分析器进行训练得到汉语句子功能成分分析模型D,采用汉语句子功能成分分析模型D对待测试汉语句子进行测试,得到测试结果;具体过程为:
将整个功能成分分析过程考虑成一系列状态转移的过程,得到句法功能成分分析器,将最终的训练数据输入句法功能成分分析器进行训练的具体为:
每个状态由一个栈和一个队列组成,栈中保存着已经生成的句法功能成分树片段,队列中保存着尚未处理的汉字;
初始状态下,栈为空,队列中元素的个数与句子中汉字的个数相同;
每个状态转移的动作根据平均感知器在预先定义好的动作集合中选择,定义好的动作集合为移进-分裂、移进-附着、归约一元、归约-二元、归约-单词、归约-子单词、停顿、终结,平均感知器通过计算当前状态下每个动作的得分,采用柱搜索策略进行选择;
终止状态下,队列为空,栈中只有唯一的IP,IP为句法功能成分树的根节点,在训练终止后得到汉语句子功能成分分析模型D,解码终止后得到一棵完整的句法功能成分树。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于哈尔滨工业大学,未经哈尔滨工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710077125.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种盛装果蔬的瓦楞纸箱
- 下一篇:一种糕点包装盒