[发明专利]一种分布式文件系统及其访问方法

说明书

技术领域

本发明涉及网络通信领域，特别是涉及一种分布式文件系统(HadoopDistributed File System，HDFS)及其访问方法。

背景技术

随着高性能应用和运算需求的迅猛发展，单台高性能计算机已经不能解决一些超大规模应用问题，如空间连接，多个数据集的最近邻查询(ANN)。这就需要将多台计算机资源联合起来，构成计算机集群，共同解决大规模应用问题。并行编程技术可以有效地开发并行计算机尤其是集群计算机的计算能力，是硬件和软件之间的桥梁，是并行计算的底层实现和高层抽象的界面。

Yahoo！首先发布了基于Google集群技术的Hadoop开源系统，Hadoop由分布式文件系统(HDFS)和MapReduce编程模型组成。

现有技术中提供的基于HDFS的数据访问方法，对于顺序访问方式，用户请求一部分数据，HDFS将该部分数据与紧随其后的其他数据一起发送给用户。由于HDFS主要支持顺序访问，因此，之前传送的那部分多余的数据马上就会被访问到。此时，就不需要去HDFS中去取数据了，可以直接在客户端的本地缓存中获得。

对于随机访问方式，如果随机访问在Block中的偏移值与上一次随机访问的偏移值相差在一个阈值(HDFS默认是128K)内，就采用上述顺序访问的方案，从上一次随机访问处开始顺序访问，数据传到客户端，客户端根据偏移值来裁剪所需的数据；如果偏移值不在阈值之内，就关闭该TCP连接，重新启动一个TCP连接。

因此，现有技术中基于HDFS的数据访问方法，存在如下缺陷：

随机访问相对于顺序访问来说，本次访问的数据的下一部分数据很可能不再访问，因此，像顺序访问那种优化的措施不适合随机访问，并且还会给随机访问带来不必要的网络带宽损失；而且TCP连接的频繁建立会耗费时间。

发明内容

本发明的目的在于提供一种HDFS及其访问方法，其能够在保证HDFS顺序访问性能的情况下，优化随机访问性能。

为实现本发明的目的而提供的一种分布式文件系统的访问方法，包括下列步骤：

步骤100.分布式文件系统接收客户端发来的访问请求，根据实际情况设置packet的大小；

步骤200.获取所述访问请求的数据的起始偏移值，以及请求数据的长度，计算需要chunk的数量；

步骤300.将所述chunk封装成数据包传给客户端。

所述步骤100，包括下列步骤：

步骤110.判断所述访问请求是否是随机访问请求，若是，则执行步骤120；否则，执行步骤130；

步骤120.将所述packet的大小设为小于原始分布式文件系统的packet；

步骤130.将所述packet的大小设为原始分布式文件系统中packet的大小。

所述方法，还包括下列步骤：

步骤400.每一次随机访问之后，保持客户端的TCP连接，在下一次随机访问时，若当前随机访问请求的数据偏移量在前次随机访问请求的数据所在的数据节点中，则继续沿用之前的TCP连接，无需重新建立TCP连接。

所述步骤400，包括下列步骤：

步骤410.获取当前随机访问请求的数据的起始偏移地址；

步骤420.判断该数据是否在前次随机访问请求的数据所在的数据节点中，若是，则执行步骤430；否则，执行步骤440；

步骤430.保持前次TCP连接，继续进行数据传输；

步骤440.断开前次TCP连接，重新建立TCP请求进行数据传输。

为实现本发明的目的还提供一种分布式文件系统，所述系统，包括：

用于根据分布式文件系统接收客户端发来的访问请求，以及实际情况设置packet的大小的装置；

用于获取所述访问请求的数据的起始偏移值，以及请求数据的长度，计算需要chunk的数量的装置；

用于将所述chunk封装成数据包传给客户端的装置。

所述用于根据分布式文件系统接收客户端发来的访问请求，以及实际情况设置packet的大小的装置，包括：

用于判断所述访问请求是否是随机访问请求的装置；

用于针对随机访问请求，将所述packet的大小设为小于原始分布式文件系统的packet的装置；

用于针对顺序访问请求，将所述packet的大小设为原始分布式文件系统中packet的大小的装置。

所述系统，还包括：