[发明专利]一种跨语种的点评复述方法有效
| 申请号: | 201710014938.2 | 申请日: | 2017-01-09 |
| 公开(公告)号: | CN106897274B | 公开(公告)日: | 2020-07-14 |
| 发明(设计)人: | 张猛;焦宇;林小俊;暴筱 | 申请(专利权)人: | 北京众荟信息技术股份有限公司 |
| 主分类号: | G06F40/56 | 分类号: | G06F40/56;G06F40/30 |
| 代理公司: | 北京君尚知识产权代理有限公司 11200 | 代理人: | 邱晓锋 |
| 地址: | 100088 北京市海*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 语种 点评 复述 方法 | ||
1.一种跨语种的点评复述方法,其特征在于,包括以下步骤:
1)获取目标语种的点评数据;
2)对目标语种的点评数据进行语义分析;所述语义分析包括分析点评数据的维度和极性;
所述极性的计算方法是:
a)获取点评数据,对其进行规范化处理;
b)对规范化处理后的点评数据的句子进行分词处理;
c)对分词后的句子进行要素分析,识别出影响文本情感倾向性检测分析的各类词语;
d)根据句式模版库对进行要素分析后的点评数据进行句式模版匹配;
e)确定点评数据的句子中指代语对应的先行语,并恢复省略的主语;
f)将出现评价对象词、评价属性词或情感词的句子作为候选情感句,采用最大熵模型对候选情感句的句子极性进行判别,得到句子的极性即情感倾向性;
其中,步骤d)所述句式模版库采用以下步骤建立:
(1)人工查看点评,整理各个情感要素的词,形成种子词典;
(2)对点评数据的句子进行分词处理,对分词后的点评逐词判定其语义类并用语义类标签替换;然后对标签替换后的点评数据进行断句,根据各语义类的名称及各语义类包含的具体词语生成句式模版;
(3)语义词抽取:将生成的句式模版应用到语义类标签替换后的点评中,当某个点评片段对应的模版与生成的句式模版的差异只有一个词时,将该词作为相应语义类的实例词;
(4)对句式模版进行打分及挑选:从两方面打分,一方面通过频次衡量句式模版的重要性和推广性,另一方面通过在语义词典中的命中率衡量句式模版的准确性;
重要性和推广性打分S(pati)的计算公式如下:
其中,|pati|是模版pati的长度,以词数计算,f(pati)表示模版pati的频次,C(pati)表示嵌套pati的模版集合;
准确性打分P(pati)的计算公式如下:
其中,T(pati)表示模版pati抽取的语义词集合,f(t)表示语义词t的频次,SemLex为步骤(1)构建的种子语义词典;
采用Sigmoid函数将S(pati)归一化到(0,1),进而融合两方面的打分得到F(pati),计算公式如下:
其中α为重要性和推广性打分S(pati)的权重,取值范围为[0,1];
根据F(pati)选取得分最高的前若干个句式模版;
(5)根据挑选的句式模版patk及其打分,计算模版抽取的语义词的得分,计算公式如下:
选取得分最高的前若干词添加到语义词典中;
步骤(2)到(5)迭代进行,至挑选出来的语义词明显不正确时终止,从而得到最终的语义词典,并由各句式模版构成句式模版库;
3)根据语义分析的结果,对目标语种的点评数据中的点评句进行语义表示;
4)将目标语种的点评数据中的每个点评句作为文档,将其语义的完整表示和部分表示作为词,构建倒排索引,形成目标语种的点评数据的复述句库;
5)对源语种的点评数据进行语义分析和语义表示,通过源语种的每个点评句的语义表示在所述复述句库中进行检索,得到目标语种的点评句;
6)根据得到的目标语种的各点评句的前后句的极性以及评价主体,按照句子衔接规则进行处理,得到最终的目标语种点评。
2.如权利要求1所述的方法,其特征在于,步骤1)通过聚焦爬虫从各大主流点评网站获取目标语种的在线点评数据。
3.如权利要求1所述的方法,其特征在于,步骤3)将点评句的概念、属性、属性值、维度和极性表示为点评句的语义表示。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京众荟信息技术股份有限公司,未经北京众荟信息技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710014938.2/1.html,转载请声明来源钻瓜专利网。





