[发明专利]一种基于词向量的短文本语义相似度计算方法有效
申请号: | 201810929693.0 | 申请日: | 2018-08-10 |
公开(公告)号: | CN109190117B | 公开(公告)日: | 2023-06-23 |
发明(设计)人: | 胡琮亮;吴培;罗南杭;万华庆;方明杰 | 申请(专利权)人: | 中国船舶重工集团公司第七一九研究所 |
主分类号: | G06F40/30 | 分类号: | G06F40/30;G06F40/289 |
代理公司: | 武汉智权专利代理事务所(特殊普通合伙) 42225 | 代理人: | 张凯 |
地址: | 430000 湖*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种基于词向量的短文本语义相似度计算方法,涉及短文本相似度技术领域,包括对获取的语料库进行分词,并对分词进行词向量模型处理,构建词向量库;对样本集中的两个短文本进行分词,并提取文本特征集合;计算样本集中的两个短文本的文本特征集合中各文本特征的相似度,选择最优相似度集合,并计算最优相似度集合中的各相似度的权重;以最优相似度集合中各相似度为计算项,对待测的两个短文本的各文本特征的相似度加权求和。本发明的基于词向量的短文本语义相似度计算方法,提取待测文本的词性特征、语意特征和文本结构特征,从中选择最优相似度集合进行匹配计算短文本语义相似度,提高短文本语义相似度计算的精度。 | ||
搜索关键词: | 一种 基于 向量 文本 语义 相似 计算方法 | ||
【主权项】:
1.一种基于词向量的短文本语义相似度计算方法,其特征在于,包括以下步骤:获取语料库,对语料库进行分词,并对分词进行词向量模型处理,生成每个词的词向量,然后构建词向量库;对样本集中的两个短文本进行分词,并提取文本特征集合,所述文本特征集合包括词性特征、语意特征和文本结构特征;从词向量库中找到词性特征对应的词向量、语意特征对应的词长向量以及文本结构特征对应的词向量,并找出文本结构特征对应的最长公共子串;根据词性特征对应的词向量、语意特征对应的词长向量、文本结构特征对应的词向量和最长公共子串,计算样本集中的两个短文本的文本特征集合中各文本特征的相似度,从各文本特征的相似度中选择超过阈值的相似度形成最优相似度集合,并计算最优相似度集合中的各相似度的权重;以所述最优相似度集合中各相似度为计算项,计算待测的两个短文本的各文本特征的相似度,然后对各文本特征的相似度加权求和得出短文本语义相似度。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国船舶重工集团公司第七一九研究所,未经中国船舶重工集团公司第七一九研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201810929693.0/,转载请声明来源钻瓜专利网。