[发明专利]一种知识图谱的知识实体所在文集的检索方法在审
申请号: | 202310418069.5 | 申请日: | 2023-04-19 |
公开(公告)号: | CN116431832A | 公开(公告)日: | 2023-07-14 |
发明(设计)人: | 程剑筠;李金霞;卞华星;温富国;沈健;栾宁;冯曙明;余建新;胡天牧;周晓宇;胡晓东 | 申请(专利权)人: | 国网江苏省电力有限公司物资分公司;江苏电力信息技术有限公司;国网江苏省电力有限公司 |
主分类号: | G06F16/36 | 分类号: | G06F16/36;G06F16/955;G06F16/28;G06F18/23213;G06F18/24;G06F18/214;G06Q50/06 |
代理公司: | 南京汇盛专利商标事务所(普通合伙) 32238 | 代理人: | 陈扬 |
地址: | 210000 江*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 知识 图谱 实体 所在 文集 检索 方法 | ||
1.一种知识图谱知识实体所在文集的检索方法,其特征在于包含以下步骤:
S1、准备电力行业各领域的文档,包括且不限于合同文档、招标文档、技术规范书、检修工单,财务报告以及电力行业语料库,组成文集Corpus;
对所有文集进行Corpus,URL的Mapping,再对所有的Corpus,URL进行标号;
S2、对文档进行预处理,根据文档的类型,分别使用OCR,pdf2txt,word2txt工具解析为txt文件,并进行瘦身,删除所有文档空白,换行符标记为Sentence结束符,去除所有非Unicode字符;
S3、使用Corpus2Sentence算法,把文件生产为对应的Sentence实验数据,并添加Sentence在原文件的Segment Position信息,得到Sentence,CorpusID,SegmentID形式的数据;
S4、构建HuggingFaceTransformer模型,使用上一步中T5模型的预训练参数去初始化Transformer的编码器与解码器,模型编码器的学习率设置为2X10-4,解码器的学习率设置为10-4,进行训练,让整个网络记住所有Corpus以及Sentence的信息;
S5、对待搜索的知识图谱知识实体Query进行文本处理,使之只包含Unicode字符,作为模型输入,经过模型计算它与模型中已经记忆的Sentence之间的Cosine Similarity;把计得到的相似度结果作为新的权重,代入到下一层等计算;最终得到知识实体Query对文件Sentence的Softmax结果;
S6、通过得到的CorpusID,从S1中的分类结果中,依据层次顺序一步步定位到具体的文件Corpus,URL,返回对应的URL值;根据得到的SegmentID,定位结果Sentence所在文件的具体段落号。
2.根据权利要求1所述的知识图谱知识实体所在文集的检索方法,其特征在于:步骤S1中,标号的方法采用HCA算法,具体如下:
设置K-Means算法的超参数为10,即K=10,每类包含文件数量的阈值为20,即C=20;
1)对所有的文档进行K-Means,分类结果设置标号,范围为[1,10];
2)当分类结果中某类包含的文件数量大于阈值,则对此类再进行K-Means算法进行聚类,并使用[1,10]的标号对分类结果进行新的标注;
3)重复1,2步的工作,直到所有类别文件数量都小于阈值或者分类结果不再发生变化,此时,把每次分类进行的标注进行连结,形成包含每层分类结果的标记串,即文件对应的CorpusID。
3.根据权利要求1所述的知识图谱知识实体所在文集的检索方法,其特征在于:步骤S3中,Corpus2Sentence算法具体如下:
设置每个term的长度为32,以逗号、分号,句号、问号、感叹号为结束符判断,
1)首先,把文件开始第一个term作为一个Sentence;
2)在文件中随机选择20组长度为32的term作为Sentence;
3)再构建DocT5Sentence的T5模型,将已在大数据集训练好的模型参数迁移到T5模型进行使用,使用随机采样的方法生产Sentence;
4)保存所有Sentence信息以及Sentence对应的CorpusID信息,记录现Sentence与其在原文档中的Segment位置对照信息,即Sentence,CorpusID,SegmentID形式的数据;并记录当前T5模型的模型参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国网江苏省电力有限公司物资分公司;江苏电力信息技术有限公司;国网江苏省电力有限公司,未经国网江苏省电力有限公司物资分公司;江苏电力信息技术有限公司;国网江苏省电力有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310418069.5/1.html,转载请声明来源钻瓜专利网。