[发明专利]一种利用语义信息计算文本相似度的方法有效
申请号: | 201811094368.3 | 申请日: | 2018-09-19 |
公开(公告)号: | CN109325229B | 公开(公告)日: | 2023-01-31 |
发明(设计)人: | 郑志军;程国艮 | 申请(专利权)人: | 中译语通科技股份有限公司 |
主分类号: | G06F40/30 | 分类号: | G06F40/30;G06F40/289;G06N3/08;G06F16/33 |
代理公司: | 北京兴智翔达知识产权代理有限公司 11768 | 代理人: | 郭卫芹 |
地址: | 100040 北京市石*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 利用 语义 信息 计算 文本 相似 方法 | ||
本发明提供了一种利用语义信息计算文本相似度的方法,具体而言,该方法包括:将给定的文本进行分词处理得到对应的词序列,然后将上述词序列中的每个单词对应于训练好的词向量取出形成词向量序列,进一步确定给定文本中词序列的关键词,形成关键词序列;判定所述文本中的词是否属于关键词序列并分别赋予不同的权重;在获取了词向量和对应权重的基础上,将句子的词向量与权重值进行加权求和得到语义向量序列,最后利用文本间的语义向量的夹角余弦表示不同文本的相似度。该方法充分考虑了文本中每个词在文本相似度计算中的作用,强调每个词对相似度的贡献的区别,从语义的角度重新定义了求不同文本相似度的方法。
技术领域
本发明涉及文本相似度计算领域,具体而言,涉及一种充分利用文本中词语语义信息来计算文本相似度的方法。
背景技术
文本相似度计算即计算两个给定文本在语义上的近似程度。文本相似度计算在NLP(自然语言处理)领域中具有十分重要的科研价值和应用价值,其广泛应用于社区问答系统、聊天机器人、机器翻译、文本分类、词义排歧以及信息检索等。
传统文本相似度计算方法主要从词汇、语义、句法方面计算文本的相似度:基于词汇的方法利用两个文本中相同词汇的占比来衡量文本的相似度程度;基于语义的方法利用外部语义词典计算文本相似度;基于句法的方法借助文本编辑距离或句法树计算文本相似度。
深度学习模型在解决这一问题时,要么将两个文本抽象成同一空间的向量考虑,要么将两文本的词相似矩阵当成是图像中的点像素处理。
文本相似度计算的难点在于如何合理的表示句子的语义信息,传统方法最大的缺陷在于没有合理利用词汇的语义信息来表示句子。基于深度学习的方法虽然较好的利用了词汇的语义信息来表示句子,但训练语料的大小很大程度上影响了模型的性能,高成本的标记语料极大的限制了深度学习模型的实际应用。
发明内容
本发明的目的在于提供一种利用了语义信息的计算文本相似度的方法,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
本发明的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本发明的实践而习得。
本发明表示句子语义信息时利用了包含更多信息的词向量,且在句子的向量化表示过程中并没有对词向量直接求和而是在为其分配了不同的权重后求和,这样不仅考虑了每个词在计算文本相似度中的作用,也强调了不同的词的贡献是有差异的。
相对于传统文本相似度计算方法,本发明更加合理的表示句子语义,且更容易减少未登录词对文本相似度计算的影响。相对于深度学习方法,本发明不需要借助大规模的标记语料,也无需大量的训练时间。本发明更简单,适用性更强,更适合大规模使用。
本发明提供一种利用语义信息计算文本相似度的方法其特征在于,该方法包括如下步骤:
将给定的第一文本S1和第二文本S2分别进行分词处理,得到对应于第一文本S1的第一词序列W1和对应于第二文本S2的第二词序列W2;
将所述第一词序列W1中的每个词对应于skip-gram中训练好的词向量取出形成第一词向量序列V1;
将所述第二词序列W2中的每个词对应于skip-gram中训练好的词向量取出形成第二词向量序列V2;
进一步计算第一文本S1和第二文本S2的关键词序列,得到第一关键词序列K1和第二关键词序列K2;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中译语通科技股份有限公司,未经中译语通科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811094368.3/2.html,转载请声明来源钻瓜专利网。
- 信息记录介质、信息记录方法、信息记录设备、信息再现方法和信息再现设备
- 信息记录装置、信息记录方法、信息记录介质、信息复制装置和信息复制方法
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录设备、信息重放设备、信息记录方法、信息重放方法、以及信息记录介质
- 信息存储介质、信息记录方法、信息重放方法、信息记录设备、以及信息重放设备
- 信息存储介质、信息记录方法、信息回放方法、信息记录设备和信息回放设备
- 信息记录介质、信息记录方法、信息记录装置、信息再现方法和信息再现装置
- 信息终端,信息终端的信息呈现方法和信息呈现程序
- 信息创建、信息发送方法及信息创建、信息发送装置