[发明专利]一种基于流及消息调度的实时数据计算及存储方法

说明书

本发明涉及一种基于流及消息调度的实时数据计算及存储方法，包括如下步骤：步骤一、数据流缓冲，建立大数据高并发场景下的数据缓冲通道，采用kafka系统为数据消费者提供消峰后的稳定数据源；步骤二、实时数据分析，通过准实时流计算引擎，根据实际需求完成海量实时数据的在线运算分析；步骤三、实时数据存储，源数据根据时间点存入分布式时序数据库，实现大数据的实时性时序存储及历史数据检索。本发明提供的方法，可应用于海量数据的实时数据分析存储系统中，提升其快速数据处理能力、实时运算响应速度、海量数据存储能力以及满足数据订阅需求。

技术领域

本发明涉及数据处理领域，具体涉及一种基于流+消息调度的实时数据计算及存储方法。

背景技术

在智慧城市建设领域，随着智能传感器终端、数据传输网罗、大数据及云计算技术的广泛应用和发展，使获取多源数据的方式变得越来越简便，在城市计算环境下，需要处理原来越多的城市规划、交通控制、环境保护、居民生活、社会运转以及公共事务等领域的实时数据流。在智慧城市的发展建设中，构建多样化城市服务需要利用海量多种类的数据，为服务社会提供坚实的数据基础，因此也给智慧城市的规划和建设带来了新的机遇和挑战。

通常，在智慧城市应用的基础便是大量传感器数据的采集、传输、存储、分析，当前这类数据处理模式面临着实时性及分析多样性的巨大挑战，而且当前的分析基本都是离线的计算作业，该计算量可能需要数分钟甚至数小时，无法满足实时性要求。

上述相关智慧城市领域数据采集在应用初期满足了基本的管理需求，然而随着智能化的不断深入，城市精细化，智能化管理需求越来越强烈，以往的方案已经无法满足应用需要：一是简单的数据存储比较单一，大量数据积压，丢包都是常见现象。二是传统的分析模式，时效性太低，智慧城市中问题发生需要很高的时效性，需要系统及时分析响应。三传统数据分析需要投入大量人力进行实时动态的监控。

发明内容

本发明是要解决现有上述提出技术问题，进而提供了一一种基于流及消息调度的实时数据计算及存储方法。

本发明的一种基于流及消息调度的实时数据计算及存储方法，包括如下步骤：

步骤一、数据流缓冲，建立大数据高并发场景下的数据缓冲通道，采用kafka系统为数据消费者提供消峰后的稳定数据源；

步骤二、实时数据分析，通过准实时流计算引擎，根据实际需求完成海量实时数据的在线运算分析；

步骤三、实时数据存储，源数据根据时间点存入分布式时序数据库，实现大数据的实时性时序存储及历史数据检索；

步骤四、分析结果存储，根据实际需求将分析结果存入相应的分布式数据库。

步骤二中，数据流缓冲时建立高吞吐，高可用的数据上报通道，同时通过扩展消息调度集群完成数据接收网关的横向扩展。

步骤二中，实时数据存储在以分布式技术为基础的时序数据库opentsdb内，opentsdb是建立在hbase基础上的时序数据库，提供http形式的api数据接口。

在线流式计算中，流计算引擎实时消费消息调度模块队列消息，根据关系型数据库mysql中存储的报警规则对比完成在线实时分析。

分析结果推送到数据流引擎kafka，完成消息订阅关系。

分析结果可按系统实际要求推送到消息管道特定实时消费主题，订阅者可通过订阅该消费主题对分析的结果进行实时接收。

本发明的有益效果包括：

1、本发明提供的方法，基于流及消息调度的组合模式，为该领域提供了一种新的解决问题角度与思路参考。

2、本发明提供的方法，可应用于海量数据的实时数据分析存储系统中，提升其快速数据处理能力、实时运算响应速度、海量数据存储能力以及满足数据订阅需求。