[发明专利]一种云计算环境下的海量数据存取方法

说明书

技术领域

本发明涉及计算机领域的数据管理方法，特指一种云计算环境下的海量数据存取方法。

背景技术

云计算是一种商业计算模型，它将计算任务分布在大量计算机构成的资源池上，使各种应用程序能够根据需要获取计算力、存储空间和信息服务；对于数据密集型服务而言，海量数据存储于云中，在用户需要时按需提取部分数据，并将计算结果返回给用户。其将位于网络中的各种资源整合在一起，为用户提供服务，用户按需取用、按用付费，就像水和电一样方便、快捷。随着信息技术的高速发展，云计算已经成为一种趋势。

如图1所示，现有的用于云计算环境数据管理方法，一般是运行于应用层，采用应用层的数据管理系统，所有针对应用数据特点做的优化全部在应用层完成，在底层仍然采用操作系统已有的传统文件系统来存取数据。如：Google的数据管理系统google文件系统（google File System GFS）。Google首先利用网络爬虫将网络上的海量网页信息收集到自己的云中，然后在用户搜索时，将包含用户指定关键字的网页按一定顺序返回给用户。这些网页信息作为一种资源在相当长的时间里都会保存下来，具有“一旦写入不再更改”的特点。GFS将数据按块（称为Chunk，每块大小64M）存储，每个数据块至少在3个数据服务器上冗余备份，每个数据块副本对应一个文件系统中的64M文件，通过一个元数据服务器对这些数据块文件进行管理。GFS不修改操作系统已有的传统文件系统，运行于应用层。

传统文件系统以文件的方式为用户提供数据存取的功能。要使用传统文件系统，首先需要用磁盘分区工具将磁盘进行分区，然后用传统文件系统格式化工具将分区格式化为特定的格式。用户就可以在该分区中创建目录，目录里再创建子目录，形成一个层次式的数据存储目录结构。用户可以在任意目录中创建数据文件，并将数据写入文件中。读取该数据时，首先通过分区根目录逐级向下遍历该数据文件的每一级父目录，直到找到该文件为止，然后打开文件读取其中的数据。其具体步骤如下：

1、格式化磁盘分区：格式化磁盘分区的主要工作是在磁盘分区头部划分一个区域，存储该磁盘分区的一些元数据信息。

为了支持文件系统所提供的层次式数据存储功能，元数据信息通常比较庞杂，以FreeBSD操作系统所采用的UFS文件系统为例，其分区元数据包括超级块信息、柱面组信息、inode节点表等。超级块存储有关文件系统参数的大量信息，包括柱面组大小，数据块大小，碎片的大小，还包括文件系统最后挂载时间等，通常位于文件系统起始位置的64KB处。柱面组信息主要包括该柱面组的目录数，空闲块数，空闲inode节点数，空闲碎片数等。每一个柱面组都拥有一个inode节点表，它用于存放本柱面组内的inode节点。每一个inode节点存储一个文件的元数据信息。每一个柱面组的inode节点表都位于柱面组的固定位置，一般为第32个碎片处，它的大小由inode节点大小和为柱面组分配的inode节点数决定。

2、打开文件：其主要工作是根据用户所请求的文件路径查询并取出目标文件的inode节点信息，并根据访问类型的不同，为文件加不同的锁，以维护数据一致性。在层次式的数据存储结构中，可以从任意目录的inode节点信息中检索到该目录中的所有文件和子目录的inode节点信息。下面以打开/a/b/c.txt文件为例，说明查询目标文件c.txt的inode节点信息的流程：

在磁盘分区的固定位置读取根目录的inode节点信息；

（1）读取根目录下的所有目录，从中匹配目标文件路径中位于根目录下的目录名，即a；

（2）读取a对应的inode节点信息，从中匹配目标文件路径中位于a下的目录名，即b；

（3）读取b对应的inode节点信息，从中匹配目标文件路径中位于b下的文件名，即c.txt；

（4）读取目标文件（即c.txt）的inode节点信息；

（5）为目标文件（即c.txt）加锁。

3、写入文件：该操作在请求写入数据的起始位置开始写入用户数据，并更新相关的文件元数据和文件系统元数据。

4、读取文件：该操作在请求读取数据的起始位置开始读取所需要长度的数据，并更新相关的文件元数据和文件系统元数据。

5、删除文件：该操作在磁盘中删除文件，删除相关的文件元数据，并更新文件系统元数据。

6、关闭文件：该操作执行解锁、清内存等操作。