[发明专利]一种基于深度学习面向公检法领域的舆情等级预测方法有效
申请号: | 202110608376.0 | 申请日: | 2021-06-01 |
公开(公告)号: | CN113312532B | 公开(公告)日: | 2022-10-21 |
发明(设计)人: | 赵铁军;杨沐昀;徐冰;郭常江;曹海龙;朱聪慧 | 申请(专利权)人: | 哈尔滨工业大学 |
主分类号: | G06F16/951 | 分类号: | G06F16/951;G06F16/33;G06F16/35;G06F40/289;G06F40/30;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 哈尔滨市阳光惠远知识产权代理有限公司 23211 | 代理人: | 刘景祥 |
地址: | 150001 黑龙*** | 国省代码: | 黑龙江;23 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 深度 学习 面向 公检法 领域 舆情 等级 预测 方法 | ||
1.一种基于深度学习面向公检法领域的舆情等级预测方法,其特征在于,所述预测方法包括以下步骤:
步骤1:从网络上爬取公检法领域相关的舆情信息,提取其中的文本信息存储至数据库中;
步骤2:对采集到文本信息利用深度学习模型进行预测,得到舆情等级预测结果;
步骤3:将步骤2的舆情等级预测结果存储至系统数据库;
步骤4:在数据库中对舆情等级做出相应标识;
步骤5:对标识后的数据库中舆情等级提供可访问舆情信息的数据接口;
步骤6:通过数据接口在系统中显示舆情等级预测结果;
所述步骤2中采集文本信息后关键词抽取的算法是TextRank的改进算法,边权值计算如下:
其中wij表示节点i和节点j之间边的权重即共现频率和词向量相似度之和;cij表示节点i和节点j代表的词对的共现次数;vec(Vi)表示节点i对应的词的向量表示,vec(Vj)表示节点j对应的词向量;节点初始权值计算如下:
其中,n表示句子中的单词数,vec(Vi)、vec(Vj)含义同前文,α表示偏置系数,取值在[0,1]之间,表示句子长度和语义相关性哪个对节点初值的影响更多;
算法迭代公式如下:
其中Rank(Vi)表示节点i的关键词得分;wij表示节点i和节点j之间边的权重;In(Vi)表示指向节点Vi的节点集合;Out(Vj)表示节点Vj指向的节点集合;Score(Vj)表示节点权值,β表示调和系数,取值在[0,1]之间;经过迭代,当上述Rank(Vi)收敛时,算法结束;
所述步骤2中的深度学习模型将新闻标题通过分词转化为向量的表示形式,用Word2vec模型进行预处理获得词向量;通过改进的TextRank算法对新闻文本进行关键词抽取,同样表示成词向量;之后使用深度神经网络模型对文本特征进行提取,即获取其进一步语义表示;在该语义表示之后拼接数据信息,完成分类;
搭建好模型之后,使用构建好的数据集进行训练;使用该模型对数据库中其他的舆情记录进行等级预测,将预测结果作为舆情记录的一个字段存储下来。
2.根据权利要求1所述一种基于深度学习面向公检法领域的舆情等级预测方法,其特征在于,所述步骤1具体包括以下步骤:
步骤J1.1:爬取得到原始的JSON文件,判断其是否为UTF-8编码,若是则无需转换,若不是则将其编码格式转为UTF-8编码;
步骤J1.2:在UTF-8编码格式的JSON文件中检索,提取出转发量、评论量、评论文本及正文的信息;
步骤J1.3:使用正则表达式对提取出的文本进行清洗,保留中文、英文和数字字符,去除其中的网页链接、标签、表情符号,过滤掉非中文字符;
步骤J1.4:将提取出的文本在数据库中建立该舆情相关的记录,将清洗过的舆情文本存储在单独的数据库当中,并和数据库中对应的舆情记录建立联系。
3.根据权利要求1所述一种基于深度学习面向公检法领域的舆情等级预测方法,其特征在于,所述步骤1具体包括以下步骤:
步骤H1.1:爬取得到原始的HTML文件,判断其是否为UTF-8编码,若是则无需转换,若不是则将其编码格式转为UTF-8编码;
步骤H1.2:在HTML文本中检索body标签,使用正则表达式提取出其中的正文文本;
步骤H1.3:对步骤H1.2的正文文本再次使用正则表达式进行清洗,保留中文、英文和数字字符,去除其中无用信息,过滤掉非中文字符;
步骤H1.4:将清洗过的舆情文本存储在单独的数据库当中,并和数据库中对应的舆情记录建立联系。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于哈尔滨工业大学,未经哈尔滨工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110608376.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种多元二噁英处理设备
- 下一篇:一种腹部穴位按摩腰带及其使用方法