[发明专利]挖掘同义词的方法及装置在审
| 申请号: | 202011200400.9 | 申请日: | 2020-10-29 |
| 公开(公告)号: | CN112232065A | 公开(公告)日: | 2021-01-15 |
| 发明(设计)人: | 贺飞艳;邵纪春;胡昕彤 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
| 主分类号: | G06F40/247 | 分类号: | G06F40/247;G06F40/295;G06F40/30 |
| 代理公司: | 深圳市隆天联鼎知识产权代理有限公司 44232 | 代理人: | 朱黎 |
| 地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 挖掘 同义词 方法 装置 | ||
1.一种挖掘同义词的方法,其特征在于,包括:
由第一模型构建实体词集合中各实体词的词向量,所述第一模型是根据共现图中的实体词序列对Skip-gram模型进行无监督训练得到的,所述共现图是根据从若干样本问答语料中所提取的实体词构建的;
计算所述实体词集合中选定的基准实体词所对应词向量和所述实体词集合中除所述基准实体词外的其他实体词所对应词向量之间的相似度;
根据所述相似度,确定所述基准实体词对应的候选同义词集合;
由第二模型预测所述基准实体词与所述候选同义词集合中每一候选同义词为同义词的概率;
根据所预测得到的概率对所述候选同义词集合中的候选同义词进行筛选,确定所述基准实体词的同义词。
2.根据权利要求1所述的方法,其特征在于,所述由第一模型构建实体词集合中各实体词的词向量之前,所述方法还包括:
根据预设的元路径在所述共现图中游走,得到所述实体词序列;
以所述实体词序列中的一实体词作为目标实体词,在所述实体词序列中提取所述目标实体词的上下文窗口中的实体词作为所述目标实体词的关联实体词;
根据所述目标实体词和所述目标实体词对应的每一关联实体词,对所述Skip-gram模型进行训练,得到所述第一模型对所述Skip-gram模型进行训练,得到所述第一模型。
3.根据权利要求2所述的方法,其特征在于,所述根据预设的元路径在所述共现图中游走,得到所述实体词序列之前,所述方法还包括:
从所述样本问答语料的提问语料中提取第一实体词,以及从所述样本问答语料的回复语料中提取第二实体词;
根据所述提问语料与所述回复语料之间的问答关系,将所述第一实体词和所述第二实体词相关联,得到所述共现图。
4.根据权利要求3所述的方法,其特征在于,所述从所述样本问答语料的提问语料中提取第一实体词,以及从所述样本问答语料的回复语料中提取第二实体词,包括:
根据构建的词典分别对所述样本问答语料中的提问语料和回复语料进行分词,得到对应的分词结果;
从所述提问语料对应的分词结果中提取指定类型的实体词,得到所述第一实体词,以及从所述回复语料对应的分词结果中提取指定类型的实体词,得到所述第二实体词。
5.根据权利要求4所述的方法,其特征在于,所述样本问答语料为医疗问答语料,所述指定类型的实体词包括用于描述疾病的实体词、用于描述症状的实体词、用于描述药品的实体词和用于描述检查的实体词中的至少一种。
6.根据权利要求4所述的方法,其特征在于,所述根据构建的词典分别对所述样本问答语料中的提问语料和回复语料进行分词,得到对应的分词结果之前,所述方法还包括:
获取参考实体词集合;
根据所述参考实体词集合构建所述词典。
7.根据权利要求1所述的方法,其特征在于,所述根据所述相似度,确定所述基准实体词对应的候选同义词集合,包括:
将与所述基准实体词相关的多个相似度按照由大到小排序,得到所述基准实体词对应的相似度排序;
将所述相似度排序中位于前设定数量的相似度所对应实体词作为所述基准实体词的候选同义词;
根据所述候选同义词,确定所述基准实体词对应的候选同义词集合。
8.根据权利要求1所述的方法,其特征在于,所述第一模型包括BERT模型、全连接层和输出层,所述由第二模型预测所述基准实体词与所述候选同义词集合中每一候选同义词为同义词的概率,包括:
针对所述候选同义词集合中的每一候选同义词,将所述基准实体词与所述候选同义词进行拼接,得到拼接文本;
由所述BERT模型输出所述拼接文本的语义向量;
由所述全连接层对所述语义向量进行全连接,得到全连接向量;
由所述输出层根据所述全连接向量输出所述基准实体词与所述候选同义词为同义词的概率。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011200400.9/1.html,转载请声明来源钻瓜专利网。





