[发明专利]一种基于文本结构的文本分析方法、系统、设备和介质在审
| 申请号: | 202210145827.6 | 申请日: | 2022-02-17 |
| 公开(公告)号: | CN114611484A | 公开(公告)日: | 2022-06-10 |
| 发明(设计)人: | 许伟;杜玮;王明明;徐顿 | 申请(专利权)人: | 中国人民大学 |
| 主分类号: | G06F40/205 | 分类号: | G06F40/205;G06F40/258;G06F40/284;G06K9/62 |
| 代理公司: | 北京纪凯知识产权代理有限公司 11245 | 代理人: | 冀志华 |
| 地址: | 100872 北京市*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 基于 文本 结构 分析 方法 系统 设备 介质 | ||
1.一种基于文本结构的文本分析方法,其特征在于包括以下步骤:
对获取的待分析文本进行解析,得到其文本结构;
分别对待分析文本的各文本结构进行机器阅读,得到各文本结构所对应的嵌入向量;
将得到的各嵌入向量进行融合,得到融合的文章嵌入向量;
基于融合得到的文章嵌入向量以及预先构件的预测网络模型,得到文本分析结果。
2.如权利要求1所述的一种基于文本结构的文本分析方法,其特征在于,所述对待分析文本进行解析,得到其文本结构的方法,包括:
从网站上爬取待分析文本的原始html文件;
遍历原始html文件的每个节点;
判断原始html文件中是否有a-sum标签,如果有则将a-sum标签下面的内容作为文章的摘要;
再判断原始html文件是否具有header标签,如果有则将header标签下面的内容作为段落标题,否则将单独成一行的加粗内容作为段落标题;
提取段落标题下的文本内容作为段落内容;
将段落标题和段落内容按顺序编号,得到段落标题及与其匹配的段落内容。
3.如权利要求1所述的一种基于文本结构的文本分析方法,其特征在于,所述对待分析文本的各文本结构进行机器阅读的方法,包括:
将得到的摘要部分输入预先构建的第一Transformer网络,得到摘要的嵌入向量;
将各段落标题分别输入预先构建的第二Transformer网络,得到各段落标题的嵌入向量;
将各段落标题对应的段落内容分别输入到预先构建的Longformer网络,得到段落内容对应的嵌入向量。
4.如权利要求3所述的一种基于文本结构的文本分析方法,其特征在于,所述将得到的各嵌入向量进行融合,得到融合的文章嵌入向量的方法,包括:
将段落标题与对应的段落内容的嵌入向量进行融合,得到段落嵌入向量;
将各段落嵌入向量进行融合,得到文章内容嵌入向量;
将摘要嵌入向量与文章内容嵌入向量进行融合,得到整个待分析文本的文章向量。
5.如权利要求4所述的一种基于文本结构的文本分析方法,其特征在于,所述将段落标题与对应的段落内容的嵌入向量进行融合的方法,包括:
将段落标题的嵌入向量与段落内容的嵌入向量对位取平均数完成融合,得到段落嵌入向量。
6.如权利要求4所述的一种基于文本结构的文本分析方法,其特征在于,所述将各段落嵌入向量进行融合,得到文章内容嵌入向量的方法,包括:
对各段落嵌入向量进行融合时,将各段落嵌入向量对位取平均值完成融合,得到文章内容嵌入向量。
7.如权利要求1所述的一种基于文本结构的文本分析方法,其特征在于,所述基于融合得到的文章嵌入向量得到文本分析结果的方法,包括:
将所有待分析文本的文章嵌入向量进行批归一化;
将批归一化后的文章嵌入向量输入单层神经网络中降维,通过Softmax算法得到三种潜在分类结果中概率最高的分类结果。
8.一种基于文本结构的文本分析系统,其特征在于,该系统包括:
文本解析模块,用于对获取的待分析文本进行解析,得到其文本结构;
文本阅读模块,用于分别对待分析文本的各文本结构进行机器阅读,得到各文本结构所对应的嵌入向量;
向量融合模块,用于将得到的各嵌入向量进行融合,得到融合的文章嵌入向量;
预测模块,用于基于融合得到的文章嵌入向量得到文本分析结果。
9.一种处理设备,所述处理设备至少包括处理器和存储器,所述存储器上存储有计算机程序,其特征在于,所述处理器运行所述计算机程序时执行以实现权利要求1到7任一项所述基于文本结构的文本分析方法的步骤。
10.一种计算机存储介质,其特征在于,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行以实现根据权利要求1到7任一项所述基于文本结构的文本分析方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国人民大学,未经中国人民大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210145827.6/1.html,转载请声明来源钻瓜专利网。





