[发明专利]文本隐含语义激活方法及系统有效
申请号: | 201710565733.3 | 申请日: | 2017-07-12 |
公开(公告)号: | CN107577656B | 公开(公告)日: | 2020-02-14 |
发明(设计)人: | 曾大军;白洁;李林静;王磊;李秋丹 | 申请(专利权)人: | 中国科学院自动化研究所 |
主分类号: | G06F40/284 | 分类号: | G06F40/284;G06F40/289;G06F40/30 |
代理公司: | 11482 北京瀚仁知识产权代理事务所(普通合伙) | 代理人: | 郭文浩;王世超 |
地址: | 100080 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 隐含 语义 激活 方法 系统 | ||
1.一种文本隐含语义激活方法,其特征在于,所述激活方法包括:
获取待测文本的待测词项信息;
根据文本集合知识库及所述待测文本的待测词项信息,确定所述文本集合知识库的词表中每个参考词项的激活系数;所述文本集合知识库包括多个参考词项共同构成的词表、对应各参考词项的参考词向量及参考词频;
根据各激活系数,选取对应的参考词项构成待测文本的隐含语义集合;
将所述隐含语义集合添加到所述待测文本中进行语义扩充;
所述获取待测文本的待测词项信息,具体包括:
对所述待测文本进行句段划分和分词,获得所述待测文本的待测词项;
基于所述文本集合知识库,确定各个所述待测词项的待测词向量及待测词频。
2.根据权利要求1所述的文本隐含语义激活方法,其特征在于,所述激活方法还包括:
对预收集的原始文本集合进行训练,构建文本集合知识库。
3.根据权利要求2所述的文本隐含语义激活方法,其特征在于,所述对预收集的原始文本集合进行训练,构建文本集合知识库,具体包括:
对原始文本集合进行训练进行预处理,确定包含全部参考词项的原始词项集合;
过滤掉所述原始词项集合中的停用词,获得参考词项集合;
根据所述参考词项集合中的各参考词项,构建词表;
统计各参考词项出现的次数,确定对应的参考词频;
通过词向量训练工具对文本集合进行训练,确定各参考词项对应的参考词向量。
4.根据权利要求1所述的文本隐含语义激活方法,其特征在于,所述确定所述各待测词项的待测词向量及待测词频,具体包括:
根据所述待测词项,对所述文本集合知识库中的各参考词向量进行检索,确定各待测词项对应的待测词向量;
根据所述文本集合知识库中各参考词频,确定各待测词项对应的待测词频。
5.根据权利要求1所述的文本隐含语义激活方法,其特征在于,所述确定所述各待测词项的待测词向量及待测词频,还包括:
通过词向量训练工具,对所述待测词项进行训练,获得所述待测词项对应的增量式的待测词向量;
统计所述待测文本中各待测词项出现的频率,并结合所述文本集合知识库中各参考词频,确定各待测词项的待测词频。
6.根据权利要求5所述的文本隐含语义激活方法,其特征在于,所述激活方法还包括:
将动态获得的所述待测文本更新的待测词项、待测词向量及待测词频添加到所述文本集合知识库中进行扩充,更新所述文本集合知识库的词表、参考词向量及参考词频。
7.根据权利要求1所述的文本隐含语义激活方法,其特征在于,所述确定所述文本集合知识库的词表中每个参考词项的激活系数,具体包括:
计算所述文本集合知识库的词表中每个参考词项与待测文本的联合关联强度;
根据每个参考词项的词频及其与待测文本的联合关联强度确定各参考词项的激活系数。
8.根据权利要求7所述的文本隐含语义激活方法,其特征在于,所述计算所述文本集合知识库的词表中每个参考词项与待测文本的联合关联强度,具体包括以下任意一种:
分别计算各参考词项所对应词向量与待测文本中的每个待测词项所对应词向量的相似度,计算各相似度的加权平均值,确定所述联合关联强度;
计算待测文本中的各待测词项所对应词向量的加权平均向量,计算所述加权平均向量与各参考词项所对应词向量的相似度,确定所述联合关联强度;
将待测文本进行句段划分,计算划分后的各集合中的划分词项所对应词向量的划分加权平均向量,分别计算各划分加权平均向量与各参考词项所对应词向量的相似度,计算各相识度的平均值,确定所述联合关联强度;
随机选取待测文本中的多个子片段,计算每个子片段中的片段词项所对应词向量的片段加权平均向量,分别计算各片段加权平均向量与各参考词项所对应词向量的相似度,计算各相似度的平均值,确定所述联合关联强度。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院自动化研究所,未经中国科学院自动化研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710565733.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种病理诊断标本储运盒
- 下一篇:邮箱作者对应方法和装置