[发明专利]一种基于算法组态和分布式流计算的大数据分析平台装置及方法

权利要求书

1.一种基于算法组态和分布式流计算的大数据分析平台装置，包括依次连接的数 据源获取装置、数据整合单元、时序数据存储器、计算单元、无线终端和数据服务终 端，其中数据服务终端还分别与时序数据存储器、数据源获取装置和无线终端连接， 其特征在于：

数据源获取装置，用于获取设备监测数据和常规的设备数据，并发送至数据整合 单元；

数据整合单元，用于以接收来自数据源获取装置发送的设备监测数据和常规的设 备数据，经过预处理后将结果发送给时序数据存储器；

时序数据存储器，用于存储预处理后的数据和配置数据，并且将访问频度高、性 能要求高的数据集中缓存到时序数据存储器中的内存器；

计算单元，用于驱动调度引擎来调用和接收时序数据存储器存储的数据，并且依 据预先编排好的处理逻辑对调用和接收的数据进行处理，训练形成数据挖掘模型，其 中计算单元包括多个子计算单元，多个子计算单元按照实际业务需求动态配置，每个 子计算单元独立存在，能够根据行业专家经验独立演化，采用分布式的流式计算引擎 对调用和接收的数据进行计算后实时输出，回传到时序数据存储器和/或数据服务端；

数据服务端，包括数据服务端处理器、接口单元和显示装置，其中数据服务端处 理器用于从时序数据存储器直接读取数据和/或接收来自计算单元处理后的数据，并且 进行分析处理，将处理后的结果通过显示装置进行显示，同时通过接口单元将处理后 的结果发送给无线终端；

无线终端，用于接收来自数据服务端发送的处理后的结果，并且能够无线发送控 制命令至数据服务端，数据服务端接收到控制命令后控制数据源获取装置，调整数据 源获取装置的数据采集频率。

2.如权利要求1所述的装置，其特征在于：数据源获取装置包括监测传感器、监 测数据存储器和设备数据存储器，其中监测数据存储器分别与监测传感器和数据整合 单元连接，数据整合单元还连接设备数据存储器：

监测传感器，用于实时或准实时获取设备监测数据，并将采集到的设备监测数据传 输给监测数据存储器；

监测数据存储器，用于将设备监测数据存储，并且以流式输出的方式，将设备监 测数据输出至数据整合单元；

设备数据存储器，用于存储常规的设备数据，并且以批量输出的方式，将常规的 设备数据输出至数据整合单元。

3.如权利要求2所述的装置，其特征在于：分布式的流式计算引擎的通讯协议都 采用统一的标准协议。

4.如权利要求3所述的装置，其特征在于：所述标准协议为消息传输协议MQTT。

5.如权利要求2-4任一项所述的装置，其特征在于：还包括与数据整合单元连接 的人工输入装置，用于在因安全要求实施了隔离措施或不支撑数据接入的情形下输入 监测设备数据。

6.如权利要求5所述的装置，其特征在于：配置数据为描述设备监测数据和/或 常规的设备数据的业务含义数据、存储结构数据和/或处理逻辑数据。

7.如权利要求6所述的装置，其特征在于：所述访问频度高、性能要求高的数据 是指近期的监测数据、常规的设备数据，以及关注率较高的历史指标数据、模型元数 据和预处理规则数据。

8.如权利要求7所述的装置，其特征在于：数据服务端处理后的结果为故障预警 结果和/或负荷预测结果。

9.如权利要求1或8任一项所述的装置，其特征在于：所述无线终端为笔记本电 脑、平板电脑和/或手机。

10.一种利用如上述权利要求2-9任一项所述的装置的大数据分析方法，其特征 在于，依次包括如下步骤：

(1)初始化，设置数据服务端的初始参数，根据设置好的初始参数控制监测传感 器的采样周期为每秒6次，采样时间为1分钟，将1分钟内采样的数据求平均值A；

(2)在同样的初始参数条件下，重复步骤(1)3次，分别求得3次的平均值B、 C、D；

(3)将平均值A、B、C、D求和后再求平均值P：

A.如果则监测传感器性能稳定，进入步骤(4)；

B.如果则监测传感器性能不稳定，则进入步骤(1)；

(4)实时或准实时获取设备监测数据，并将采集到的设备监测数据传输给监测数 据存储器后存储，以流式输出的方式，将设备监测数据输出至数据整合单元；

(5)以批量接入的方式，通过预定义的调度计划自动获取设备数据存储器中的常 规的设备数据，将设备监测数据和常规的设备数据以预处理规则进行数据的清洗、过 滤、转换的预处理,并将预处理后的数据输出至时序数据存储器进行存储；

(6)将近期的监测数据、常规的设备数据，以及关注率较高的历史指标数据、模 型元数据和预处理规则数据集中缓存到时序数据存储器中的内存器；

(7)通过计算单元驱动调度引擎来调用和接收时序数据存储器存储的数据，并且 依据预先编排好的处理逻辑对调用和接收的数据进行处理，训练形成数据挖掘模型， 其中计算单元包括多个子计算单元，多个子计算单元按照实际业务需求动态配置，每 个子计算单元独立存在，能够根据行业专家经验独立演化，采用分布式的流式计算引 擎对调用和接收的数据进行计算后实时输出，回传到时序数据存储器和/或数据服务 端；

(8)从时序数据存储器直接读取数据和/或接收来自计算单元处理后的数据，并 且进行分析处理，将处理后的结果通过显示装置进行显示，同时通过接口单元将处理 后的结果发送给无线终端；

(9)通过无线终端接收来自数据服务端发送的处理后的结果，根据处理后的结果 决定是否发送控制命令至数据服务端，数据服务端接收到控制命令后控制监测传感器， 调整监测传感器的数据采集频率，其中处理后的结果为故障预警结果和/或负荷预测结 果，根据处理后的结果决定是否发送控制命令至数据服务端满足：

A.当故障预警结果和/或负荷预测结果为正常时，降低监测传感器的数据采集频 率；

B.当故障预警结果和/或负荷预测结果为不正常时，提高监测传感器的数据采集 频率，并且重复步骤(1)-(9)，同时在数据服务端发出警报，在数据服务端的显示 装置上实时显示故障预警结果和/或负荷预测结果，并且通知维修人员。