[发明专利]一种基于图神经网络的多元特征融合中文文本分类方法有效
| 申请号: | 202010868076.1 | 申请日: | 2020-08-26 |
| 公开(公告)号: | CN112015863B | 公开(公告)日: | 2023-06-13 |
| 发明(设计)人: | 范梦真;严一博;程大伟;罗轶凤;钱卫宁;周傲英 | 申请(专利权)人: | 华东师范大学;上海瞰点科技有限责任公司 |
| 主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F16/35;G06F40/295;G06F40/30;G06F18/241;G06N3/0442;G06N3/0464;G06N3/048;G06N3/08 |
| 代理公司: | 上海蓝迪专利商标事务所(普通合伙) 31215 | 代理人: | 徐筱梅;张翔 |
| 地址: | 200241 *** | 国省代码: | 上海;31 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 基于 神经网络 多元 特征 融合 中文 文本 分类 方法 | ||
1.一种基于图神经网络的多元特征融合中文文本分类方法,其特征在于,该方法包括以下具体步骤:
步骤1:文本收集与处理
收集文本,对收集到的文本进行文本预处理,并划分出训练集、验证集和测试集;其中,文本预处理包括分词及去除停用词;
步骤2:词向量模型训练
使用步骤1中处理后的全部文本训练word2vec词向量模型,保存训练好的word2vec词向量模型;
步骤3:文本-命名实体异构图构建
步骤1处理后的文本构成文本集合,使用命名实体识别模型识别文本集合中的文本,得到其中所有的实体,这些实体构成实体集合;将文本和实体视为两种类型的图节点,若文本中包含某个实体,则文本节点与实体节点之间建立一条边,两种类型的节点及节点之间的边构成异构图;
步骤4:构建多元特征融合的神经网络模型
基于图卷积神经网络和GRU序列编码模型构建多元特征融合的神经网络模型;
步骤5:训练与保存
将异构图每个节点的表征和文本的表征输入步骤4构建的图神经网络模型,得到神经网络模型的输出向量,将得到的向量输入一层的全连接神经网络作为分类器,输出为文本属于各个类别的概率,在训练集上使用交叉熵损失函数衡量预测概率与文本真实类别的差距,通过Adam优化器反向传播更新层级神经网络和分类器中的参数,每次更新参数后计算验证集上损失函数的值,重复上述过程直到验证集上损失函数不再下降,保存此时神经网络模型的参数;
步骤6:文本类型预测
将需分类的文本输入训练好的模型中,得到文本属于各个类别的概率,取概率最大的类别为预测类别。
2.根据权利要求1所述的多元特征融合中文文本分类方法,其特征在于,步骤1所述收集文本为收集来自各大新闻门户网站和公众号;所述分词使用中文分词方法Jieba分词;所述停用词由公开的中文停用词表以及文本中词频-逆文档频率Tf-idf值低的词人工筛选后合并构成;所述划分默认百分之七十为训练集、百分之十为验证集和百分之二十为测试集。
3.根据权利要求1所述的多元特征融合中文文本分类方法,其特征在于,步骤2所述训练word2vec词向量模型使用skip-gram方法训练。
4.根据权利要求1所述的多元特征融合中文文本分类方法,其特征在于,步骤3中所述的命名实体识别模型为Bi-LSTM+CRF;所述实体类型包括文本中的上市公司、非上市公司、人名、地点、时间、金钱和产品。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华东师范大学;上海瞰点科技有限责任公司,未经华东师范大学;上海瞰点科技有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010868076.1/1.html,转载请声明来源钻瓜专利网。





