[发明专利]计算句子相似度的方法和装置以及机器翻译的方法和装置有效
申请号: | 201110303522.5 | 申请日: | 2011-10-09 |
公开(公告)号: | CN103034627A | 公开(公告)日: | 2013-04-10 |
发明(设计)人: | 刘占一;吴华;王海峰 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F17/28 | 分类号: | G06F17/28 |
代理公司: | 北京鸿德海业知识产权代理事务所(普通合伙) 11412 | 代理人: | 袁媛 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 计算 句子 相似 方法 装置 以及 机器翻译 | ||
1.一种计算句子相似度的方法,其特征在于,该方法包括:
A、对第一句子和第二句子进行比较,确定差异词对;
B、利用差异词对中差异词与其所在第一句子或第二句子中其他词语的搭配概率,为各差异词打分,其中两词语之间的搭配概率通过查询搭配概率模型得到,所述搭配概率模型中两词语之间的搭配概率由所述两词语在预设的语料库中的共现次数统计得到;
C、利用差异词对中各差异词的打分结果,确定差异词对的打分;
D、利用各差异词对的打分结果,确定所述第一句子和所述第二句子的相似度。
2.根据权利要求1所述的方法,其特征在于,在所述步骤B中,按照如下公式为各差异词打分:
其中r(wi,E)为差异词wi的打分结果,E为差异词wi所在的第一句子或第二句子,wj为E中除wi之外的其他词语,r(wi,wj)为wi和wj的搭配概率,m为E包含的词语数目。
3.根据权利要求1或2所述的方法,其特征在于,在所述步骤C中,按照如下公式为差异词对打分:
其中,为由差异词w和构成的差异词对的打分结果,r(w,E1)为第一句子E1中的差异词w的打分结果,为第二句子E2中的差异词的打分结果,α1、α2、β1和β2为预设的权值参数。
4.根据权利要求1所述的方法,其特征在于,该方法还包括:确定差异词对中两差异词的特征向量,利用所述两差异词的特征向量,计算所述两差异词的相似距离;
所述步骤C中确定差异词对的打分时,进一步利用差异词对中两差异词的相似距离。
5.根据权利要求4所述的方法,其特征在于,差异词的特征向量的确定方式具体为:
查询所述搭配概率模型,将与差异词的搭配概率达到预设搭配概率阈值的词语构成该差异词的特征向量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201110303522.5/1.html,转载请声明来源钻瓜专利网。