[发明专利]基于标题的文档聚类方法、装置、终端设备及介质有效
| 申请号: | 201911047481.0 | 申请日: | 2019-10-30 |
| 公开(公告)号: | CN110888981B | 公开(公告)日: | 2022-11-01 |
| 发明(设计)人: | 赵洋;王宇;王亚奇;朱继刚 | 申请(专利权)人: | 深圳价值在线信息科技股份有限公司 |
| 主分类号: | G06F16/35 | 分类号: | G06F16/35 |
| 代理公司: | 深圳中一联合知识产权代理有限公司 44414 | 代理人: | 李娟 |
| 地址: | 518000 广东省深圳市福田区沙头街道*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 基于 标题 文档 方法 装置 终端设备 介质 | ||
1.一种基于标题的文档聚类方法,其特征在于,包括:
采集多个文档,并对各个文档进行预处理,各个文档分别具有相应的文档标题;
针对任一文档,计算所述文档的文档标题与其他各个文档的文档标题之间的第一相似度;
将所述第一相似度大于第一预设阈值的多份文档聚类为初始文档簇;
针对所述初始文档簇中的各个目标文档,分别计算所述目标文档的文档标题与多个第二文档的文档标题之间的第二相似度,所述目标文档为所述初始文档簇中第一相似度大于所述第一预设阈值且小于第二预设阈值的文档,所述第二文档为不属于所述初始文档簇的文档;
根据所述第二相似度更新所述初始文档簇,得到目标文档簇,并设置所述目标文档簇的簇关键词;
其中,所述计算所述文档的文档标题与其他各个文档的文档标题之间的第一相似度,包括:
对各个文档的文档标题进行分词,统计各个文档标题中的词语个数;
针对任一文档,分别统计所述文档的文档标题与其他各个文档的文档标题中包含的相同词语的个数;
根据所述相同词语在所述各个文档标题的全部词语中的比例,采用如下公式,逐个计算所述文档的文档标题与其他各个文档的文档标题之间的第一相似度:
(k/i+k/j)/((k/i)×(k/j))
其中,i为所述文档的文档标题中的词语个数,j为待计算的另一文档的文档标题中的词语个数,k为所述文档的文档标题与所述另一文档的文档标题中包含的相同词语的个数;
所述根据所述第二相似度更新所述初始文档簇,得到目标文档簇,包括:
若所述第二文档的文档标题与任一目标文档的文档标题之间的第二相似度均小于或等于所述第二预设阈值,则舍弃所述第二文档;
若所述第二文档的文档标题与任一目标文档的文档标题之间的第二相似度大于所述第二预设阈值,则将所述第二文档添加至所述初始文档簇;
当计算完全部第二文档的文档标题与各个目标文档的文档标题之间的第二相似度后,根据添加至所述初始文档簇的各个第二文档,得到目标文档簇;
所述设置所述目标文档簇的簇关键词,包括:
分别统计各个词语在所述目标文档簇的全部文档标题中出现的总次数;
根据所述各个词语出现的总次数确定多个目标词;
分别计算所述多个目标词与多个第三文档的文档标题之间的第三相似度,若所述第三相似度大于所述第二预设阈值,则将所述第三文档加入目标文档簇,所述第三文档为不属于所述目标文档簇的文档;
当根据所述各个词语出现的总次数确定出的多个目标词不再发生变化时,设置当前的多个目标词作为所述目标文档簇的簇关键词。
2.根据权利要求1所述的方法,其特征在于,所述根据所述各个词语出现的总次数确定多个目标词,包括:
根据所述各个词语出现的总次数,从大到小顺序排列所述各个词语;
分别计算相邻的两个词语出现的总次数之间的差值;
以目标差值对应的目标词语,和所述出现的总次数超过所述目标词语出现的总次数的多个其他词语为目标词,其中,所述目标差值为首次出现的超过预设数值的差值。
3.根据权利要求1所述的方法,其特征在于,还包括:
当接收到用户输入的检索关键词时,根据各个文档簇的簇关键词和所述检索关键词,确定检索文档簇,所述检索文档簇的簇关键词至少包含所述检索关键词;
提取所述检索文档簇中的多个文档,向所述用户推荐所述检索文档簇中的多个文档。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳价值在线信息科技股份有限公司,未经深圳价值在线信息科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911047481.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:水盆羊肉制备方法及制备工具
- 下一篇:一种基于面试中微表情的说谎检测方法





