[发明专利]基于电力行业的云上数据发布服务两级共享缓存分析方法有效
| 申请号: | 201811511520.3 | 申请日: | 2018-12-11 |
| 公开(公告)号: | CN109614412B | 公开(公告)日: | 2023-06-02 |
| 发明(设计)人: | 李伟东;犹锋;王渊;夏心锋 | 申请(专利权)人: | 江苏瑞中数据股份有限公司;南瑞集团有限公司 |
| 主分类号: | G06F16/2455 | 分类号: | G06F16/2455;G06F16/25 |
| 代理公司: | 南京苏高专利商标事务所(普通合伙) 32204 | 代理人: | 颜盈静 |
| 地址: | 210012 江苏*** | 国省代码: | 江苏;32 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 基于 电力行业 数据 发布 服务 两级 共享 缓存 分析 方法 | ||
1.基于电力行业的云上数据发布服务两级共享缓存分析方法,其特征在于:包括以下步骤:
S1:原始数据接入,通过业务系统及相关采集端进行数据采集,利用流处理平台Kafka推送至中心服务器对数据格式进行分析处理;
S2:采用Socket连接的通信方式将数据以JSON报文格式推送至数据共享端,数据共享端得到数据后解析入非关系型数据库Redis,通过对JSON报文格式的数据块解析组合得到键值对并写入至非关系型数据库Redis;
S3:将非关系型数据库Redis作为一级缓存,采用线程池的方式从非关系型数据库Redis中抽取数据,采用异步处理即时删除和设置键值对生命周期的方式,对数据进行分析处理并写入MySQL库中,设置生命周期的方式为根据数据块中的指标编码设置键值对的生命周期;
S4:根据业务逻辑不同,在MySQL库中分为两种分析策略:第一种为:在分析非关系型数据库Redis数据时同时抽取MySQL库中数据进行组合运算,并写入至MySQL库中;第二种为:非关系型数据库Redis中数据即时处理并全量更新至MySQL库中,若计算线程超时,则根据超时机制以及非关系型数据库Redis中设置的生命周期,自动清除过期数据,释放线程进行新一轮运算;
S5:在MySQL中根据接收端需求不同对数据进行二次分析处理并推送至各个客户端。
2.根据权利要求1所述的基于电力行业的云上数据发布服务两级共享缓存分析方法,其特征在于:所述S1中,将业务系统及相关采集端采集到的数据根据相关属性进行格式化处理后由流处理平台Kafka推送至中心服务器。
3.根据权利要求2所述的基于电力行业的云上数据发布服务两级共享缓存分析方法,其特征在于:所述S2具体为:根据心跳机制,通过Socket长连接将已格式化的数据采用JSON报文格式以数据流的方式发送,同时通过报文的校验码及回参保证数据的完整性,在接收报文数据之后进行解析入非关系型数据库Redis。
4.根据权利要求1所述的基于电力行业的云上数据发布服务两级共享缓存分析方法,其特征在于:在所述S4中,从MySQL库中预设的关系映射表中查询指标编码的计算类型,若计算类型为1,则根据JSON串中的发送时间值作为时间戳抽取MySQL中时段数据,与非关系型数据库Redis的数据组合计算后更新MySQL库中预设的关系映射表数据;若计算类型为2,则根据JSON串中的发送时间值抽取非关系型数据库Redis中时段数据进行分析计算,若计算超时则释放线程,若键值对生命周期结束进行空运算并释放线程。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于江苏瑞中数据股份有限公司;南瑞集团有限公司,未经江苏瑞中数据股份有限公司;南瑞集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811511520.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:数据存储方法、设备和存储介质
- 下一篇:一种内存流式计算平台系统
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





