[发明专利]一种知识图谱的知识实体所在文集的检索方法在审

专利信息
申请号: 202310418069.5 申请日: 2023-04-19
公开(公告)号: CN116431832A 公开(公告)日: 2023-07-14
发明(设计)人: 程剑筠;李金霞;卞华星;温富国;沈健;栾宁;冯曙明;余建新;胡天牧;周晓宇;胡晓东 申请(专利权)人: 国网江苏省电力有限公司物资分公司;江苏电力信息技术有限公司;国网江苏省电力有限公司
主分类号: G06F16/36 分类号: G06F16/36;G06F16/955;G06F16/28;G06F18/23213;G06F18/24;G06F18/214;G06Q50/06
代理公司: 南京汇盛专利商标事务所(普通合伙) 32238 代理人: 陈扬
地址: 210000 江*** 国省代码: 江苏;32
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 知识 图谱 实体 所在 文集 检索 方法
【权利要求书】:

1.一种知识图谱知识实体所在文集的检索方法,其特征在于包含以下步骤:

S1、准备电力行业各领域的文档,包括且不限于合同文档、招标文档、技术规范书、检修工单,财务报告以及电力行业语料库,组成文集Corpus;

对所有文集进行Corpus,URL的Mapping,再对所有的Corpus,URL进行标号;

S2、对文档进行预处理,根据文档的类型,分别使用OCR,pdf2txt,word2txt工具解析为txt文件,并进行瘦身,删除所有文档空白,换行符标记为Sentence结束符,去除所有非Unicode字符;

S3、使用Corpus2Sentence算法,把文件生产为对应的Sentence实验数据,并添加Sentence在原文件的Segment Position信息,得到Sentence,CorpusID,SegmentID形式的数据;

S4、构建HuggingFaceTransformer模型,使用上一步中T5模型的预训练参数去初始化Transformer的编码器与解码器,模型编码器的学习率设置为2X10-4,解码器的学习率设置为10-4,进行训练,让整个网络记住所有Corpus以及Sentence的信息;

S5、对待搜索的知识图谱知识实体Query进行文本处理,使之只包含Unicode字符,作为模型输入,经过模型计算它与模型中已经记忆的Sentence之间的Cosine Similarity;把计得到的相似度结果作为新的权重,代入到下一层等计算;最终得到知识实体Query对文件Sentence的Softmax结果;

S6、通过得到的CorpusID,从S1中的分类结果中,依据层次顺序一步步定位到具体的文件Corpus,URL,返回对应的URL值;根据得到的SegmentID,定位结果Sentence所在文件的具体段落号。

2.根据权利要求1所述的知识图谱知识实体所在文集的检索方法,其特征在于:步骤S1中,标号的方法采用HCA算法,具体如下:

设置K-Means算法的超参数为10,即K=10,每类包含文件数量的阈值为20,即C=20;

1)对所有的文档进行K-Means,分类结果设置标号,范围为[1,10];

2)当分类结果中某类包含的文件数量大于阈值,则对此类再进行K-Means算法进行聚类,并使用[1,10]的标号对分类结果进行新的标注;

3)重复1,2步的工作,直到所有类别文件数量都小于阈值或者分类结果不再发生变化,此时,把每次分类进行的标注进行连结,形成包含每层分类结果的标记串,即文件对应的CorpusID。

3.根据权利要求1所述的知识图谱知识实体所在文集的检索方法,其特征在于:步骤S3中,Corpus2Sentence算法具体如下:

设置每个term的长度为32,以逗号、分号,句号、问号、感叹号为结束符判断,

1)首先,把文件开始第一个term作为一个Sentence;

2)在文件中随机选择20组长度为32的term作为Sentence;

3)再构建DocT5Sentence的T5模型,将已在大数据集训练好的模型参数迁移到T5模型进行使用,使用随机采样的方法生产Sentence;

4)保存所有Sentence信息以及Sentence对应的CorpusID信息,记录现Sentence与其在原文档中的Segment位置对照信息,即Sentence,CorpusID,SegmentID形式的数据;并记录当前T5模型的模型参数。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国网江苏省电力有限公司物资分公司;江苏电力信息技术有限公司;国网江苏省电力有限公司,未经国网江苏省电力有限公司物资分公司;江苏电力信息技术有限公司;国网江苏省电力有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202310418069.5/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top