[发明专利]搜索文本与库文件的相关度计算方法、装置、设备及介质在审
| 申请号: | 201910604516.X | 申请日: | 2019-07-05 |
| 公开(公告)号: | CN110347795A | 公开(公告)日: | 2019-10-18 |
| 发明(设计)人: | 陈爱云;陈信雄;罗翔 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
| 主分类号: | G06F16/33 | 分类号: | G06F16/33 |
| 代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 郝传鑫;贾允 |
| 地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 分词 相关度 文本 库文件 集合 搜索 目标库 参量 文本集合 重要度 综合考虑 准确度 权重 指向 | ||
1.一种搜索文本与库文件的相关度计算方法,其特征在于,所述方法包括:
获取搜索文本,并对所述搜索文本进行分词操作以得到目标分词集合,所述目标分词集合中每个目标分词指向所述目标分词对应的词权重参量;
根据库文件所在的库文件集合计算所述目标分词集合中每个分词的重要度参量;
获取用于进行相关度计算的目标库文本集合;
根据所述目标分词集合和所述目标分词集合中每个分词的重要度参量,计算所述搜索文本与所述目标库文本集合中的每个目标库文本之间的相关度。
2.根据权利要求1所述的方法,其特征在于,所述对所述文本进行分词操作以得到目标分词集合,所述目标分词集合中每个目标分词指向所述目标分词对应的词权重参量,包括:
对所述搜索文本进行分词处理,得到至少一个分词;
基于预设的语料库得到每个分词对应的词权重相关量;
利用所述词权重相关及预先构建的词权重参量计算模型,确定所述各个分词对应的词权重参量;
根据各个分词及其对应的词权重参量构建目标分词集合。
3.根据权利要求1所述的方法,其特征在于,所述获取用于进行相关度计算的目标库文本集合,包括:
计算库文本集合对于各个模板分词的倒排集合;
记录各个模板分词与其对应的倒排集合的映射关系以得到倒排词典;
根据所述倒排词典获取所述目标分词集合中每个目标分词对应的目标倒排集合;
将各个目标分词对应的目标倒排集合的并集作为目标库文本集合。
4.根据权利要求3所述的方法,其特征在于,所述计算库文本集合对于各个模板分词的倒排集合,包括:
获取库文本集合中的每个库文本的域;
获取每个所述模板分词相对于所述库文本的词频,所述模板分词相对于所述库文本的词频为所述模板分词相对于所述库文本的各个域中的文本内容的词频的最大值;
构建每个所述模板分词的倒排集合,所述模板分词相对于所述倒排集合中任意一个库文本的词频均大于预设阈值。
5.根据权利要求1所述的方法,其特征在于,所述根据所述目标分词集合和所述目标分词集合中每个分词的重要度参量,计算所述搜索文本与所述目标库文本集合中的每个目标库文本的相关度,包括:
计算搜索文本相对于所述目标库文本集合中的每个目标库文本的重要度;
计算搜索文本与所述目标库文本集合中的每个目标库文本的距离;
根据搜索文本相对于所述目标库文本集合中的每个目标库文本的重要度以及所述搜索文本与所述目标库文本集合中的每个目标库文本的距离,计算所述搜索文本与所述目标库文本集合中的每个目标库文本的相关度。
6.根据权利要求1所述的方法,其特征在于,所述根据所述目标分词集合和所述目标分词集合中每个分词的重要度参量,计算所述搜索文本与所述目标库文本集合中的每个目标库文本之间的相关度,之后还包括:
按照相关度降序的顺序排列目标库文本以得到目标库文本排序表;
选取所述目标库文本排序表的前N个目标库文本作为输出文本。
7.一种搜索文本与库文件的相关度计算装置,其特征在于,所述装置包括:
搜索文本获取模块,用于获取搜索文本,并对所述搜索文本进行分词操作以得到目标分词集合,所述目标分词集合中每个目标分词指向所述目标分词对应的词权重参量;
重要度参量获取模块,用于根据库文件所在的库文件集合计算所述目标分词集合中每个分词的重要度参量;
目标库文本集合获取模块,用于获取用于进行相关度计算的目标库文本集合;
相关度计算模块,用于根据所述目标分词集合和所述目标分词集合中每个分词的重要度参量,计算所述搜索文本与所述目标库文本集合中的每个目标库文本之间的相关度。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910604516.X/1.html,转载请声明来源钻瓜专利网。





