[发明专利]一种基于算法组态和分布式流计算的大数据分析平台装置及方法

说明书

技术领域

本发明涉及设备监测分析应用领域，具体涉及到一种基于算法组态和分布式流计算的大数据分 析平台装置及方法。

背景技术

随着计算机技术的飞速发展，各行业的数据急速增长，数据量变的越来越大，类型也越来越多， 数据结构也趋于复杂化，传统的数据库不但各设备独立放置，并且需要较大的部署空间，存在不易 部署、成本较高等缺点，不能满足用户的一般要求。

时序数据是带时间标签的时间序列数据，其典型特点是产生频率快、严重依赖于采集时间、测 点多信息量大。在电力行业中，为了保证设备安全、稳定、高效地运行，通常会对发电、变电等各 类设备的运行状态进行实时监测，采集获得大量的时序数据可作为设备运行状态评估、设备运行故 障预警、设备可靠性分析等高级应用的基础，因而，如何快速、高效、及时地处理海量实时数据， 一直是电力、化工、石油、钢铁等重资产行业面临的一项重大课题。

电力行业中历史业务数据收集和分析、实时或准实时数据的即时分析是电力行业中信息化建设 过程中比较重要的内容，它需要一套完整、稳定、契合实际业务场景的大数据分析装置的解决方案， 对设备故障预警等实时分析类业务场景提供稳定可靠的底层数据支撑。

近年来，随着云计算、大数据、机器学习、数据挖掘等IT技术迅猛发展，分布式存储、高性 能计算在理论研究和技术实践层面均获得了关键性突破，业界涌现出了一批以Hadoop为代表的大 数据处理和应用解决方案。

Hadoop是一个分布式系统基础架构，包括分布式文件系统HDFS(HadoopDistributedFile System)、分布式存储系统HBase、并行计算编程模型MapReduce等几个核心部分，它可以极大地 简化大规模数据的处理过程，但它在功能完整性、运行稳定性方面存在一定的局限性，而基于Hadoop 衍生的一些商用大数据平台又跟电力业务场景的实际需求存在偏差，因而，深度分析研究电力行业 的业务需求，构建一种基于分布式时序数据服务的大数据分析装置，具有深远的意义和较强的利用 价值。

电力行业中业务模型的多样性以及复杂性是电力行业中信息化建设过程中比较核心的内容，算 法模型解决了由一系列计算单元依照实际业务需求动态编排，从而形成业务模型的过程，计算单元 独立演化能够更好地提高计算单元的准确性；流式计算引擎能够保证计算效率的高效，灵活和可扩 展等。

然而，目前并没有专门针对大数据分析平台装置而设计的结合了算法组态和分布式流计算方式 的装置。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于算法组态和分布式流计算的大数据分析 平台装置及方法，可以快速、高效、及时地处理海量实时数据，保证计算效率高效，灵活和可扩展 强，同时保证设备安全、稳定、高效地运行。

本发明提供了一种基于算法组态和分布式流计算的大数据分析平台装置，包括依次连接的数据 源获取装置、数据整合单元、时序数据存储器、计算单元、无线终端和数据服务终端，其中数据服 务终端还分别与时序数据存储器、数据源获取装置和无线终端连接，

数据源获取装置，用于获取设备监测数据和常规的设备数据，并发送至数据整合单元；

数据整合单元，用于以接收来自数据源获取装置发送的设备监测数据和常规的设备数据，经过 预处理后将结果发送给时序数据存储器；

时序数据存储器，用于存储预处理后的数据和配置数据，并且将访问频度高、性能要求高的数 据集中缓存到时序数据存储器中的内存器；

计算单元，用于驱动调度引擎来调用和接收时序数据存储器存储的数据，并且依据预先编排好 的处理逻辑对调用和接收的数据进行处理，训练形成数据挖掘模型，其中计算单元包括多个子计算 单元，多个子计算单元按照实际业务需求动态配置，每个子计算单元独立存在，能够根据行业专家 经验独立演化，采用分布式的流式计算引擎对调用和接收的数据进行计算后实时输出，回传到时序 数据存储器和/或数据服务端；

数据服务端，包括数据服务端处理器、接口单元和显示装置，其中数据服务端处理器用于从时 序数据存储器直接读取数据和/或接收来自计算单元处理后的数据，并且进行分析处理，将处理后 的结果通过显示装置进行显示，同时通过接口单元将处理后的结果发送给无线终端；