[发明专利]一种智慧能源云平台数据处理方法

说明书

本发明公开了一种智慧能源云平台数据处理方法，该方法采用解耦装置进行数据处理，该方法具体包括以下步骤：S1、创建业务数据主题(topic),t(n)为数组t(n)＝{}，t(n)面向不同业务场景的所需要数据合集，通过提取模块p(m)提取相对应业务场景所需的数据集；S2、服务自动发现模块收集提取模块p(m)和解析模块c(m)全链路相关的关系，本发明涉及数据处理技术领域。该智慧能源云平台数据处理方法，通过采用新的解耦装置弱化元数据与业务之间的关联性，减少开发成本，提升处理速度，增加业务灵活性，采用开源分布式消息流平台，具有强一致性、高吞吐以及低延时的高可扩展流数据存储特性，是云原生时代解决实时消息流数据传输、存储和计算的最佳解决方案。

技术领域

本发明涉及数据处理技术领域，具体为一种智慧能源云平台数据处理方法。

背景技术

数据(Data)是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理。数据经过解释并赋予一定的意义之后，便成为信息。数据处理(data processing)是对数据的采集、存储、检索、加工、变换和传输，数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据，数据处理是系统工程和自动控制的基本环节。数据处理贯穿于社会生产和社会生活的各个领域。数据处理技术的发展及其应用的广度和深度，极大地影响了人类社会发展的进程，用计算机收集、记录数据，经加工产生新的信息形式的技术。数据指数字、符号、字母和各种文字的集合。数据处理涉及的加工处理比一般的算术运算要广泛得多，数据处理系统已广泛地用于各种企业和事业，内容涉及薪金支付，票据收发、信贷和库存管理、生产调度、计划管理、销售分析等。它能产生操作报告、金融分析报告和统计报告等。数据处理技术涉及到文卷系统、数据库管理系统、分布式数据处理系统等方面的技术。

海量不同种类的电力设备，实时产生海量传感器数据，每个不同种类设备传感器数据类型不一样，为了满足业务需求的数据类型，对传感器数据进行整形，仅适用单一应用场景，随着业务场景越来越复杂数据展示的多样性，原元数据与业务强关联关系适应不了新的需求。

目前存在元数据与业务强关联关系，本发明通过采用新的解耦装置弱化元数据与业务之间的关联性，减少开发成本，提升处理速度，增加业务灵活性。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种智慧能源云平台数据处理方法，解决了现有元数据与业务强关联关系，仅采用单一应用场景，无法适用现有越来越复杂业务场景数据展示的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：一种智慧能源云平台数据处理方法，该方法采用解耦装置进行数据处理，该方法具体包括以下步骤：

S1、创建业务数据主题(topic),t(n)为数组t(n)＝{}，t(n)面向不同业务场景的所需要数据合集，通过提取模块p(m)提取相对应业务场景所需的数据集；

S2、服务自动发现模块收集提取模块p(m)和解析模块c(m)全链路相关的关系，构建t(n)＝p(m)+c(m)数据流通管道；

S3、服务注册机制收到服务自动发现信息，将数据集群副本信息及主题信息，转交负载均衡管理服务；

S4、负载均衡服务依据副本信息及主题信息分配硬件资源，并将硬件资源与数据对应关系同步到服务自动发现模块；

S5、服务自动发现模块实时监控提取模块和解析模块的状态，动态调度集群管理模块资源；

S6、解析模块通过业务数据主题(topic)，将业务场景所需的数据稳定、高效的输送。