[发明专利]一种关键词提取方法及装置在审
申请号: | 201911244974.3 | 申请日: | 2019-12-06 |
公开(公告)号: | CN112926310A | 公开(公告)日: | 2021-06-08 |
发明(设计)人: | 明亮 | 申请(专利权)人: | 北京搜狗科技发展有限公司 |
主分类号: | G06F40/284 | 分类号: | G06F40/284 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 柳欣 |
地址: | 100084 北京市海淀区中关*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 关键词 提取 方法 装置 | ||
1.一种关键词提取方法,其特征在于,所述方法包括:
对待处理文本进行分词,得到分词集合;
建立分词词图,所述分词词图中的节点为所述分词集合中的分词,所述分词词图中节点之间的边表征:在该边两端对应的分词满足在所述待处理文本中预设长度的窗口内存在共现关系;
计算所述分词词图中节点之间的边两端对应的分词的相似度,将所述相似度确定为边的权重值;
将所述边的权重值作为TextRank算法中的点间权重,计算得到的所述分词的特征值,将所述特征值满足第一预设条件的分词确定为候选关键词;
计算每个所述候选关键词与所述待处理文本的相关度;
将与所述待处理文本的相关度最大的候选关键词确定为所述待处理文本的关键词。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
利用Word2vec模型计算所述分词集合中分词的词向量。
3.根据权利要求2所述的方法,其特征在于,所述计算所述分词词图中节点之间的边两端对应的分词的相似度,将所述相似度确定为边的权重值,包括:
计算所述分词词图中节点之间的边两端对应的分词的词向量之间的第一余弦相似度,将所述第一余弦相似度确定为边的权重值。
4.根据权利要求1所述的方法,其特征在于,所述计算所述分词词图中节点之间的边两端对应的分词的相似度,将所述相似度确定为边的权重值,包括:
计算所述分词词图中节点之间的边两端对应的分词的点间互信息,将所述点间互信息确定为边的权重值。
5.根据权利要求2所述的方法,其特征在于,所述计算每个所述候选关键词与所述待处理文本的相关度,包括:
计算目标候选关键词的词向量与目标范围内的各个分词的词向量之间的第二余弦相似度,所述目标范围为在所述待处理文本中与所述目标候选关键词相邻的预设分词数量范围;
对所述第二余弦相似度进行求和,得到所述目标候选关键词与所述待处理文本的相关度,所述目标候选关键词分别取每一所述候选关键词。
6.根据权利要求2所述的方法,其特征在于,所述计算每个所述候选关键词与所述待处理文本的相关度,包括:
计算目标候选关键词的词向量与所述待处理文本中除所述目标候选关键词之外的各个分词的词向量之间的第三余弦相似度;
对所述第三余弦相似度进行求和得到所述目标候选关键词与所述待处理文本的相关度,所述目标候选关键词分别取每一所述候选关键词。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:
判断所述待处理文本的关键词是否属于不需要提取目标对象属性的关键词;
如果否,在所述待处理文本中与目标对象属性关键词进行匹配,提取所述待处理文本中包括的目标对象属性关键词。
8.一种关键词提取装置,其特征在于,所述装置包括:
分词单元,用于对待处理文本进行分词,得到分词集合;
建图单元,用于建立分词词图,所述分词词图中的节点为所述分词集合中的分词,所述分词词图中节点之间的边表征:在该边两端对应的分词满足在所述待处理文本中预设长度的窗口内存在共现关系;
赋值单元,用于计算所述分词词图中节点之间的边两端对应的分词的相似度,将所述相似度确定为边的权重值;
筛选单元,用于将所述边的权重值作为TextRank算法中的点间权重,计算得到的所述分词的特征值,将所述特征值满足第一预设条件的分词确定为候选关键词;
计算单元,用于计算每个所述候选关键词与所述待处理文本的相关度;
确定单元,用于将与所述待处理文本的相关度最大的候选关键词确定为所述待处理文本的关键词。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京搜狗科技发展有限公司,未经北京搜狗科技发展有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911244974.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种报文调度方法及装置
- 下一篇:互连结构及其制备方法