[发明专利]基于人工智能的词汇挖掘方法、装置、服务器及存储介质有效
| 申请号: | 201910760785.5 | 申请日: | 2019-08-16 |
| 公开(公告)号: | CN110457708B | 公开(公告)日: | 2023-05-16 |
| 发明(设计)人: | 王朔遥 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
| 主分类号: | G06F40/284 | 分类号: | G06F40/284;G06F40/30;G06F18/214;G06F18/23;G06F18/22 |
| 代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 祝亚男 |
| 地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 基于 人工智能 词汇 挖掘 方法 装置 服务器 存储 介质 | ||
1.一种基于人工智能的词汇挖掘方法,其特征在于,所述方法包括:
获取第一文本样本、第二文本样本和主题词库,所述第一文本样本为目标主题对应的包括待挖掘词汇的文本样本,所述第二文本样本为与所述目标主题相似的主题对应的文本样本,所述主题词库包括属于所述目标主题的多个词汇;
根据所述第一文本样本、所述第二文本样本和第一文本识别模型,确定至少一个第一词汇,所述第一词汇为在所述第一文本样本中词频高于第一词频、在所述第二文本样本中词频低于第二词频、凝固度高于目标凝固度且自由度低于目标自由度的词汇;
将所述第一文本样本和所述第二文本样本输入第二文本识别模型,根据所述第二文本识别模型输出的结果,确定至少一个第二词汇,所述第二词汇为在所述第一文本样本中为关键词且在所述第二文本样本中为非关键词的词汇;
基于所述第一文本样本、所述第一词汇、所述第二词汇和所述主题词库确定至少一个新词。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一文本样本、所述第二文本样本和第一文本识别模型,确定至少一个第一词汇,包括:
对所述第一文本样本进行分词得到至少一个第三词汇,对所述第二文本样本进行分词得到至少一个第四词汇;
将所述至少一个第三词汇和所述至少一个第四词汇作为所述第一文本识别模型的输入数据;
根据所述第一文本识别模型的输出结果,确定至少一个第一词汇。
3.根据权利要求1所述的方法,其特征在于,所述将所述第一文本样本和所述第二文本样本输入第二文本识别模型,根据所述第二文本识别模型输出的结果,确定至少一个第二词汇,包括:
将所述第一文本样本和所述第二文本样本输入所述第二文本识别模型,基于所述第二文本识别模型实现的算法构建文本的图网络结构;
根据所述图网络结构,从所述第一文本样本中获取至少一个第一关键词,从所述第二文本样本中获取至少一个第二关键词;
从所述至少一个第一关键词中删除与所述至少一个第二关键词重复的词汇;
将剩余的至少一个第一关键词作为所述至少一个第二词汇。
4.根据权利要求1所述的方法,其特征在于,所述基于所述第一文本样本、所述第一词汇、所述第二词汇和所述主题词库确定至少一个新词,包括:
以所述主题词库中的种子词、所述第一词汇和所述第二词汇为词典,对所述第一文本样本进行分词,得到多个第五词汇;
根据所述多个第五词汇的词向量和所述种子词的词向量进行聚类;
根据聚类结果确定至少一个新词。
5.根据权利要求4所述的方法,其特征在于,所述根据所述多个第五词汇的词向量和所述种子词的词向量进行聚类,包括:
根据所述种子词的词向量对连通性聚类模型进行初始化;
基于相似度传递的方式对所述多个第五词汇的词向量进行连通性聚类。
6.根据权利要求5所述的方法,其特征在于,所述基于相似度传递的方式对所述多个第五词汇的词向量进行连通性聚类,包括:
对于所述多个第五词汇的词向量,将距离小于目标距离的两个词向量连接;
当任一第五词汇的词向量与种子词的词向量直接连通时,将所述第五词汇与所述种子词作为同一类;
当任一第五词汇的词向量与种子词的词向量通过其他第五词汇的词向量间接连通时,根据最短路径确定所述第五词汇与所述种子词的间接相似度,如果所述间接相似度不小于目标相似度,将所述第五词汇与所述种子词作为同一类。
7.根据权利要求4所述的方法,其特征在于,所述根据聚类结果确定至少一个新词,包括:
从所述聚类结果中选择符合目标主题的至少一个名词和动词,作为所述目标主题的新词,所述目标主题为所述主题词库所属的主题。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910760785.5/1.html,转载请声明来源钻瓜专利网。





