[发明专利]基于电力行业的云上数据发布服务两级共享缓存分析方法

说明书

本发明公开了一种基于电力行业云上数据发布服务两级共享缓存分析方法，具体包括：步骤一：原始数据接入，通过业务系统及相关采集端进行数据采集进行分析处理并推送至服务器；步骤二：采用Socket长连接的通信方式将数据以报文格式推送至数据共享端；步骤三：对数据进行分析处理并写入Redis库中；步骤四：根据业务逻辑不同在Redis中设置不同分析策略并写入至MySQL中。步骤五：在MySQL中根据接收端需求不同对数据进行二次分析处理并推送至各个客户端；步骤六：各模块装载、系统初始化。

技术领域

本发明涉及业务信息采集分析监控系统，具体涉及一种基于电力行业的云上数据发布服务两级共享缓存分析策略。

背景技术

随着商业智能(Business Intelligence)技术的迅速发展，对数据仓库(或数据集市)、查询报表、数据分析、数据挖掘、数据备份等技术也有了更高的要求。同时对海量高并发数据计算服务的实时性准确性也有了更高需求。

发明内容

针对上述问题，本发明提出了一种基于电力行业的云上数据发布服务两级共享缓存分析策略，基于流处理平台Kafka及Socket长连接推送数据，使用非关系型数据库Redis作为一级缓存，通过Java对数据进行分析处理，使用MySQL作为二级缓存计算并推送最终数据。

本发明所采用的技术方案为：一种基于电力行业的云上数据发布服务两级共享缓存分析策略，包括以下步骤：

S1：原始数据接入，通过业务系统及相关采集端进行数据采集，利用流处理平台Kafka推送至中心服务器对数据格式进行分析处理；

S2：采用Socket连接的通信方式将数据以JSON报文格式推送至数据共享端，数据共享端得到数据后解析入非关系型数据库Redis，通过对JSON报文格式的数据块解析组合得到键值对并写入至非关系型数据库Redis；

S3：将非关系型数据库Redis作为一级缓存，从非关系型数据库Redis中抽取数据，采用异步处理即时删除和设置键值对生命周期的方式，对数据进行分析处理并写入MySQL库中，该设置生命周期的方式为根据数据块中的指标编码设置键值对的生命周期；

S4：根据业务逻辑不同，在MySQL库中分为两种分析策略：第一种为：在分析非关系型数据库Redis数据时同时抽取MySQL库中数据进行组合运算，并写入至MySQL库中；第二种为：非关系型数据库Redis中数据即时处理并全量更新至MySQL库中，若计算线程超时，则根据超时机制以及非关系型数据库Redis中设置的生命周期，自动清除过期数据，释放线程进行新一轮运算；

S5：在MySQL中根据接收端需求不同对数据进行二次分析处理并推送至各个客户端。

进一步的，所述S1中，将业务系统及相关采集端采集到的数据根据相关属性进行格式化处理后由流处理平台Kafka推送至中心服务器。该相关属性包括地市、类型、频度值、统计方式等。

进一步的，所述S2具体为：根据心跳机制，通过Socket长连接将已格式化的数据采用JSON报文格式以数据流的方式发送，同时通过报文的校验码及回参保证数据的完整性，在接收报文数据之后进行解析入非关系型数据库Redis。

进一步的，在所述S4中，从MySQL库中预设的关系映射表中查询指标编码的计算类型，若计算类型为1，则根据JSON串中的发送时间值作为时间戳抽取MySQL中时段数据，与非关系型数据库Redis的数据组合计算后更新MySQL库中的关系映射表数据；若计算类型为2，则根据JSON串中的发送时间值抽取非关系型数据库Redis中时段数据进行分析计算，若计算超时则释放线程，若键值对生命周期结束进行空运算并释放线程。

有益效果：本发明与现有技术相比，具有以下优点：