[发明专利]一种基于分布式文件系统的数据处理方法及装置

说明书

本发明公开了一种基于分布式文件系统的数据处理方法及装置，通过对分布式文件系统的读写方法进行优化，在客户端调用文件创建系统类的创建命令，调用写命令进行写文件操作，得到文件；文件系统输出数据流向主节点申请数据块，返回一个本地数据块对象；根据返回的所述本地数据块对象，与相应的数据节点进行通信，建立数据流，将所述客户端的文件内容切割成一个一个块，写入到所述数据流中；获得数据节点返回的写入成功信息后，向所述客户端返回写文件成功信息，从而解决了现有技术中分布式文件系统的数据读写时间较长、处理效率低下等技术问题。

技术领域

本发明涉及数据处理技术领域，特别涉及一种基于分布式文件系统的数据处理方法及装置。

背景技术

以移动互联网技术、人工智能技术和虚拟现实技术等为代表的新兴信息技术极大地改变了人类认知和生活方式。越来越多围绕个人行为、活动的信息被数字化的同时也被持久化存储下来，引起了数据量的急剧增长。数据量的急剧增加给存储系统带来了巨大压力。首先，单服务器和磁盘阵列的传统存储方法己经不能满足许多存储场景的需求，分布式存储系统具有更大的存储空间和更灵活的扩展方式;其次，以归档存储为代表的冷数据存储需求增大，使用廉价、通用的存储设备可靠地保存数据成为冷、温数据存储的重要方式。

目前以云存储和归档存储为代表的分布式存储系统是较为常用的存储方式。但由于上述数据信息数据量较大，实时读写数据量大，处理端数据处理能力缺乏，导致分布式文件系统的数据读写时间较长、处理效率低下。因此，亟待提出一种针对上述数据进行数据处理的方法。

发明内容

本发明实施例提供了一种基于分布式文件系统的数据处理方法及装置，将数据读写进行优化处理，从而解决了现有技术中分布式文件系统的数据读写时间较长、处理效率低下等技术问题。

为了解决上述技术问题，本发明公开了如下技术方案：

第一方面，提供了一种基于分布式文件系统的数据处理方法，所述方法包括写数据，具体为：

客户端调用文件创建系统类的创建命令，所述文件创建系统类返回一个文件系统输出数据流给所述客户端；

所述客户端得到所述文件系统输出数据流之后，调用写命令进行写文件操作，得到文件；

所述文件系统输出数据流接收到客户端的所述文件，写入分布式文件系统之前，向主节点申请数据块，调用远程接口中的增加数据块命令，返回一个本地数据块对象；

所述文件系统输出数据流根据返回的所述本地数据块对象，与相应的数据节点进行通信，建立数据流，将所述客户端的文件内容切割成一个一个块，写入到所述数据流中；

所述文件系统输出数据流获得数据节点返回的写入成功信息后，就会向所述客户端返回写文件成功信息；

所述客户端就会调用关闭命令，关闭所述数据流连接，文件系统输出数据流收到客户端的关闭命令，通知主节点关闭文件，完成一次文件写入流程。

进一步的，所述方法包括读数据，具体为：所述客户端通过所述文件创建系统类的打开命令打开文件，相对应的所述文件创建系统类就会返回一个文件系统输出数据流给客户端。

所述客户端调用所述主节点的远程调用接口的取数据块地址命令，获得所述文件第一个数据块的保存地址；

调用所述文件系统输出数据流的读取命令读取文件数据；

所述文件系统输出数据流和数据节点建立连接，调用数据节点的读数据接口读取数据块；

当读取完该数据块后，如果文件尚未读取完，继续调用取数据块地址命令获得下一个数据块的地址；

所述文件系统输出数据流和存储所述数据块的数据节点进行通信，读取数据块内容。