[发明专利]一种云计算环境下的关系大数据的管理方法

说明书

一种云计算环境下的关系大数据的管理方法，该管理方法基于MapReduce架构，包括以下步骤：构建底层模块，底层模块为分布式数据库ChunkDB，构成ChunkDB数据库集群，用于接收、管理和存储各类型数据；构建上层模块，上层模块为分布式数据访问接口单元，Hadoop集群，与分布式数据库ChunkDB通讯连接；构建计算模块，构建基于ChunkDB并行计算单元和基于HDFS并行计算单元，与分布式数据访问接口单元连接,对相关数据进行计算处理。本发明实现了关系大数据的划分、分布式存储、分布式索引优化方法，能够很大地提高关系大数据的存储、管理、查询分析的处理效率。

技术领域

本发明涉及数据处理领域，具体地说是一种云计算环境下的关系大数据的管理方法。

背景技术

随着计算机技术的广泛应用、传感器与RFID等数据采集技术的不断发展和廉价存储容量的不断扩大，使得收集和存储以指数级增长的数据资源成为可能。关系型海量数据的管理与分析问题已经引起了学术界和工业界的广泛重视，成为一个重要研究方向与研究热点。

目前的数据库管理系统为联机事务处理提供了方便有效的数据存储和管理方法。但是，海量数据管理与分析应用的特点决定了需要使用不同的实现机制管理大量的TB级、甚至是PB级的数据。因此传统的关系型数据库管理系统不能满足这个需求。传统数据仓库和联机分析处理也不能满足这个需求，因为随着数据量增长的越来越快，集中式数据管理的方式越来越不能满足用户的需求。海量数据的管理与分析面临诸多挑战，主要体现在以下几个方面：

(1)如何使用优秀的并行计算架构处理关系型数据。例如，MapReduce是一种分布式计算任务的并行框架，它简化了由通用机器组成的超大集群上的数据处理任务，可以实现应用程序和底层分布式处理机制的隔离，用户只需考虑如何实现Map和Reduce过程以满足业务需求，数据切割、任务调度、节点通信等功能均由框架自动完成。MapReduce架构具有高可扩展型和高并行性的特征，但是MapReduce框架对关系型数据的处理技术还不够成熟。

(2)如何有效地组织和存储关系型数据。对于日益增长的海量关系型数据，如何对其进行管理和存储，使得系统既能有效地管理海量的数据，又能够方便快速地对进行处理和分析。例如，可以将海量数据按照某个条件进行分块，然后尽可能均匀地分布在各个节点上，以便做到计算和存储资源的平衡。然而，这带来的问题就是完成一次计算需要大量的节点参与，不可避免地造成节点间大量的数据传输。所以，如何存储数据需要在并行性、均衡性、高效性等之间进行权衡，数据的组织和管理是海量数据管理与分析技术面临的一个挑战。

(3)如何实现快速交互式的数据分析。如何在各个节点上分布大规模的数据，如何快速地计算聚集数据，如何快速响应联机分析处理操作，如何快速发现隐藏在大量的数据中的规律和模型是海量数据分析应用必须解决的问题。海量数据分析应用的特点要求数据是分布存储的，并且计算是围绕数据展开的。这就给全局的聚集查询带来了新的挑战：第一，节点间的大量数据迁移带来了网络通讯压力；第二，大量的中间结果带来了存储和管理压力；第三，节点间的执行偏斜和同步开销问题。这就要求合理地划分和放置数据，以减少节点间的数据迁移，降低网络通信压力，需要研究关系型海量数据分析技术。

综上所述，关系型海量数据的管理与分析方法的研究与开发不仅具有重要的理论研究意义，而且具有广泛的实际应用价值。海量数据的查询分析可以通过对大规模数据的统计分析发现潜在的规律，并利用不断产生的数据修正得到的模型。本发明基于云计算环境中的MapReduce并行计算架构对海量关系型数据进行存储管理，设计并实现了一套有效的关系型海量数据的管理方法。

发明内容

为了解决上述的技术问题，本发明提供了一种云计算环境下的关系大数据的管理方法。

为了解决上述技术问题，本发明采取以下技术方案：

一种云计算环境下的关系大数据的管理方法，该管理方法基于MapReduce架构，包括以下步骤：