[发明专利]一种网络舆情数据处理方法及系统在审
申请号: | 202110962745.6 | 申请日: | 2021-08-20 |
公开(公告)号: | CN113672792A | 公开(公告)日: | 2021-11-19 |
发明(设计)人: | 何绍钦 | 申请(专利权)人: | 广州畅驿智能科技有限公司 |
主分类号: | G06F16/951 | 分类号: | G06F16/951;G06F16/9536;G06F16/958;G06Q50/00 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 彭东威 |
地址: | 510000 广东省广州市天河区软*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 网络 舆情 数据处理 方法 系统 | ||
1.一种网络舆情数据处理方法,其特征在于,包括:
服务端响应于舆情处理任务调度指令,生成与所述舆情处理任务调度指令对应的任务信息;
所述服务端将所述任务信息发送给移动端,使得所述移动端根据接收到的所述任务信息,结合所述移动端中保存的,且与所述任务信息对应的舆情数据分析算法,执行舆情数据分析任务,以获得网络舆情数据处理结果,其中,所述舆情数据分析算法为所述服务端下发给所述移动端,并保存在所述移动端本地的算法,具体包括:网络舆情数据爬取子算法和舆情数据标注处理子算法。
2.根据权利要求1所述的一种网络舆情数据处理方法,其特征在于,所述舆情处理任务调度指令的生成方式为:所述服务端根据用户输入的操作指令生成的。
3.根据权利要求1所述的一种网络舆情数据处理方法,其特征在于,所述网络舆情数据爬取子算法是基于Appium和puppeteer提供的api接口构建的,用于通过所述api接口控制浏览器及APP,模拟用户操作作为爬虫访问页面,以收集舆情数据;
所述舆情数据标注处理子算法是基于HanLP自然语言处理工具包构建的,用于通过基于所述HanLP自然语言处理工具包计算所述舆情数据与舆情关键词的相似度,以根据所述相似度对所述舆情数据进行标注处理,其中,所述舆情关键词存储在所述移动端接收到的任务信息中。
4.根据权利要求1所述的一种网络舆情数据处理方法,其特征在于,所述生成与所述舆情处理任务调度指令对应的任务信息之后,且将所述任务信息发送给所述移动端之前还包括:
所述服务端确定各个所述移动端的任务状态,以便将所述任务信息发送给所述任务状态为可用状态的移动端。
5.根据权利要求4所述的一种网络舆情数据处理方法,其特征在于,所述任务状态的确定过程为:
所述服务端判断所述移动端是否正在执行舆情数据分析任务,若否,则所述移动端的任务状态为可用状态,若是,则判断所述舆情数据分析任务的任务进度是否大于预置的任务进度阈值,若是,则所述移动端的任务状态为可用状态,若否,则所述移动端的任务状态为繁忙状态。
6.根据权利要求1所述的一种网络舆情数据处理方法,其特征在于,所述生成与所述舆情处理任务调度指令对应的任务信息之后,且将所述任务信息发送给所述移动端之前还包括:
所述服务端判断所述移动端是否保存有与所述任务信息对应的舆情数据分析算法,若否,则将所述舆情数据分析算法发送给所述移动端,以便所述移动端接收所述舆情数据分析算法,并将所述舆情数据分析算法保存在所述移动端本地。
7.根据权利要求6所述的一种网络舆情数据处理方法,其特征在于,所述舆情数据分析算法发送给所述移动端具体包括:
通过预设的算法封装协议,对所述舆情数据分析算法进行压缩封装处理,得到算法数据包,并将所述算法数据包发送给所述移动端,其中所述算法数据包包括:算法包序号、算法名称、算法包大小、算法包类型、算法语义内容、要求开始执行时间、执行顺序、接收成功标志、算法执行进度反馈、算法包校验。
8.根据权利要求7所述的一种网络舆情数据处理方法,其特征在于,所述将所述算法数据包发送给所述移动端之前还包括:
通过数据压缩算法,对所述算法数据包进行二次压缩。
9.根据权利要求1所述的一种网络舆情数据处理方法,其特征在于,还包括:
所述服务端响应于新移动端发送的节点扩展请求,根据所述节点扩展请求中包含的移动端信息,对所述新移动端进行注册以及配置。
10.一种网络舆情数据处理系统,其特征在于,包括:服务端和移动端,所述移动端与所述服务端通信连接;
所述服务端被配置为:响应于舆情处理任务调度指令,生成与所述舆情处理任务调度指令对应的任务信息,并将所述任务信息发送给所述移动端;
所述移动端被配置为:根据接收到的任务信息,结合所述移动端中保存的,且与所述任务信息对应的舆情数据分析算法,执行舆情数据分析任务,以获得网络舆情数据处理结果,其中,所述舆情数据分析算法为所述移动端接收所述服务端下发的所述舆情数据分析算法,并保存在所述移动端本地的算法,具体包括:网络舆情数据爬取子算法和舆情数据标注处理子算法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州畅驿智能科技有限公司,未经广州畅驿智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110962745.6/1.html,转载请声明来源钻瓜专利网。