[发明专利]一种数据加载方法、系统和数据处理方法、系统

说明书

技术领域

本发明涉及并行分布式容错文件系统技术领域，尤其涉及一种数据加载方法、系统和数据处理方法、系统。

背景技术

目前，网络文件系统得到了广泛应用，其工作原理是：将服务器上的逻辑卷开放给远程客户端，远程客户端可以像操作本地硬盘一样操作该服务器上的文件。分布式文件系统是一种典型的网络文件系统，分布式文件系统允许其他多个系统通过网络以透明的方式对分布在网络上的文件进行访问。

并行分布式容错文件系统是一种支持文件带区划分、数据复制、数据一致性检查和并行访问的分布式文件系统。并行分布式容错文件系统将文件划分出多个文件带区，通过数据复制和数据一致性检查，使得各个文件带区存储的数据一致，从而达到容错的效果。同时，由于多个文件带区中存储相同的数据，因此可以并行访问多个文件带区。目前互联网上应用的大规模文件系统，很多都采用并行分布式容错文件系统的架构，例如Hadoop分布式文件系统(HDFS)。

图1是现有技术中的并行分布式容错文件系统的结构示意图。

图1所示结构是以HDFS为例，但是其仍然适用于其他并行分布式容错文件系统。

图1中服务器侧包括名称节点(NameNode)模块和数据节点(DataNode)模块。其中一个HDFS系统仅有一个NameNode，用于HDFS系统中数据存储信息的元数据管理、数据完整性管理和访问安全性管理等，数据存储信息的元数据记载了文件带区名称以及文件带区的具体存储位置等。一个HDFS系统通常有多个DataNode，用于存储文件带区的多个副本。

图1中，客户端(Client)用于文件系统客户访问分布式文件系统，即通过与服务器侧的NameNode模块和DataNode模块进行通信，获取客户需要的数据信息。

具体地，客户端与NameNode模块进行通信，获取NameNode模块上存储的文件带区的存储位置信息，客户端根据该存储位置信息，到相应的DataNode模块上获取所述文件带区中的数据。例如，在图1中，客户端要读取的数据在文件带区1中，那么，客户端通过NameNode查找文件带区1的存储位置，查找结果是文件带区1存储在DataNode1中，则客户端通过访问DataNode1读取文件带区1。再例如，在图1中，客户端需要向HDFS系统中写数据，那么客户端首先通过访问NameNode得到数据的存储位置，然后向相应位置上的DataNode发起写请求，将相应的数据写到相应的DataNode上，其中，所写的数据可以同时写到多个DataNode上，以保证必要的文件带区副本数，这样，即便其中一个DataNode崩溃，还可以从其他正常的DataNode上获取数据，或者将该正常的DataNode上的数据复制到其他DataNode上，以保证所述文件带区副本数。

图2是目前并行分布式容错文件系统加载数据的方法流程图。

如图2所示，该方法包括：

步骤201，将需要加载的原始数据上传到预先布置的DataNode上。

本步骤中，对于并行分布式容错文件系统中所有要处理的原始数据，都需要通过客户端上传到DataNode上，其中的DataNode通常是在并行分布式容错文件系统中用于存储数据并进行相应格式转换等处理的设备。

步骤202，DataNode将上传的原始数据处理成预定格式。

本步骤中，DataNode将数据根据文件带区格式进行划分，创建与各个文件带区相对应的校验文件。

步骤203，更新NameNode上相应的元数据信息。

在步骤202对新上传到DataNode上的原始数据处理完毕后，步骤203将处理完毕的数据信息，例如文件带区数、校验文件存储位置等作为元数据信息上传到NameNode上，至此完成数据加载过程。

由图2可知，并行分布式容错文件系统中所有要处理的数据，都需要上传到预先布置的DataNode上，当客户端需要获取数据，或者当需要对数据进行分析处理时，都需要到相应的DataNode上获取数据。

无论是将数据加载到DataNode上，还是在需要对数据进行分析处理时从DataNode上获取数据，都需要占用大量的网络传输资源。例如，当计算资源本地有需要处理的数据时，也需要先通过图2将该数据加载到DataNode上，然后再从该DataNode上获取数据来进行相应的处理。

计算资源的调度是绿色计算(Green Computing)中的重要技术，其根据系统的状态信息和预测信息，将互相独立的应用需要的计算资源，映射到适当的物理资源上，并在适当的时刻运行。