[发明专利]一种云计算平台的数据持久化分布方法

说明书

本发明公开了一种云计算平台的数据持久化分布方法，包括如下步骤：步骤1，通过分布式信息队列，获取目标端数据存储要求；步骤2，所述分布式信息队列将信息传输至流处理模块和批处理模块进行处理；步骤3，将处理后的待分布数据发送至分布式文件系统；步骤4，利用SQL语义查询系统完成存储在所述分布式文件系统上的运算结果的查询。与传统的流式计算与全量计算共存的系统相比，本发明只需要实现一份流式计算代码，降低了开发维护成本；再者，本发明采用多个数据流的流失数据处理来实现多表数据处理，实现了对不同数据结构、不同数据源的数据的分析、处理、存储；另外，本发明可以实现高效的数据查询管理。

技术领域

本发明涉及分布式数据库领域，尤其涉及一种云计算平台的数据持久化分布方法。

背景技术

在互联网的快速发展的今天，进一步提升互联网价值，充分利用其优势发展科技，从而出现了物联网。所谓物联网可以看做是对互联网在使用上的深入性、扩展性发挥。并且，创新的概念逐渐深入企业，从创新1.0升级为创新2.0，是信息时代、知识社会的创新形态。其推动了科技创新主体由“产学研”转向“政产学研用”，并进一步转向“政用产学研”。它的应用可以让人了解目前由于信息通讯技术(ITC)发展给社会带来的深刻变革而引发的科技创新模式的改变。从专业科技人员实验室研发出科技创新成果后用户被动使用到技术创新成果的最终用户直接或通过共同创新平台参与技术创新成果的研发和推广应用全过程。

而物联网技术飞速发展，对大数据处理技术提出了更严格的要求。物联网时代的大数据处理系统应对的挑战主要为以下几个方面：1.需要处理的数据量更大、生成频率更快；2.对数据处理、传输速率要求更高；物联网时代数据更多样化。为满足为满足低时延、高容错、易扩展等大数据处理系统关键特性，传统的大数据处理系统基于Lambda架构设计。Lambda结合了实时计算和全量计算两种架构，在结构可以分为三模块，即：1.实时处理模块(Real-Time Layer)：主要负责流式数据的计算；2.批处理模块(Batch Layer)：主要针对批处理数据完成周期性的全量计算；3.服务模块(Serving Layer)：主要负责给上模块应用提供访问接口，进行存储、查询等任务。

但是Lambda架构的缺点是需要维护流处理以及批处理两套代码，所有的算法都实现两次，一次是为批处理系统，另一次是为实时系统，还要求查询得到的是两个系统结果的合并，导致开发以及维护的难度加大。并且，抽取出的数据通常未经处理，占用大量的网络带宽；在目标节点数小于源节点数的情况下，对数据整理的计算压力集中在相对较少的目标节点上，造成整个过程执行缓慢。

发明内容

本发明提供了一种云计算平台的数据持久化分布方法，以解决数据分布运算量集中、查询速度慢、物联网时代节点过、分布式数据的实时处理问题。

本发明解决其技术问题所采用的技术方案是：

一种云计算平台的数据持久化分布方法，包括如下步骤：

步骤1，通过分布式信息队列，获取目标端数据存储要求；

步骤2，所述分布式信息队列将数据传输至流处理模块和批处理模块进行处理；

步骤3，将处理后的待分布数据发送至分布式文件系统；

步骤4，利用SQL语义查询系统完成存储在所述分布式文件系统上的运算结果的查询。

作为本发明的进一步的改进，所述存储要求包括表的数据属性。

作为本发明的进一步的改进，所述分布式信息队列将数据传输至流处理模块和批处理模块进行处理过程具体包括：所述分布式信息队列中的数据利用哈希分区算法的计算结果，将信息发布到指定话题中分区里面，分布式队列集群接收到信息后，一方面将流式数据输出至流处理模块，另一方面根据保留数据配置时长，将消息持久化到磁盘中，输出至批处理模块进行全量计算。