[发明专利]一种分布式存储系统的实现方法及装置

说明书

技术领域

本发明涉及计算机技术领域，特别是涉及一种分布式存储系统的实现方法及装置。

背景技术

最近几年，GPU已经成为一种非常流行的并行计算解决方案，可编程的GPU作为一种高度并行化、多线程、多核心的处理器，具备很高的内存带宽和处理执行单元，非常适合于处理一些计算密集型、可高度并行化的计算任务。近些年来，nVidia公司提出了一套统一计算设备架构(CUDA)，使得GPU进行通用计算成为了一种可能。CUDA专为并行计算设计，数据并行处理会将数据元素映射到并行处理线程进行加速计算，它给用户使用的编程语法和导出API同C语言类似。从其出现到现在，便已经广泛地应用到石油和天然气开采、金融分析、医学成像处理、生物基因分析、地理信息系统等领域。

传统的存储需要购买大型昂贵的存储设备存储本地数据，而分布式云存储的出现使得运行在普通服务器上廉价存储单元成为可能。云计算三大件之一的存储是云计算的一个重点，而其中的分布式存储是存储未来的发展方向。

Ceph作为一种高性能、高扩展性、高可靠性的分布式存储系统，能够对外提供对象存储、块存储和文件系统存储三种功能，而对象存储和块存储主要用于云计算领域。在实践中，Ceph可被部署到上千台服务器上，能够对外提供PB级别的存储。然而当集群规模较大的时候，节点的CPU的计算效率便会随即下降。根据对Ceph的Giant版本测试可知，随着OSD数量线性增加，节点之间的连接数将会呈现井喷式增长的态势。举例来讲，Ceph中OSD每一次连接需要分配一个读线程和一个写线程来处理网络的请求，此外后端的数据处理也需要分配多个线程来处理相关的逻辑。以一个基于Giant版本搭建的单节点集群为例，该节点上配置了6个osd。当集群空闲的时候，6个osd进程大概生成700多个线程，而系统出现读写等操作的时候，线程数量将会急剧增长。在实际应用场景中，这将会对CPU的计算性能提出更为苛刻的要求。

鉴于此，提供一种分布式存储系统的实现方法，以对ceph系统进行加速是本领域技术人员亟待解决的技术问题。

发明内容

本发明的目的是提供一种分布式存储系统的实现方法及装置，解决现有技术中CPU计算任务重、影响计算速度的问题。

为解决上述技术问题，本发明提供一种分布式存储系统的实现方法，包括：

接收用户发送的读写请求；

生成对应的写线程以及读线程，分别用来执行读网络数据和写网络数据；

采用统一计算设备架构将数据元素映射到并行处理线程进行加速计算；

通过图形处理器执行所述写线程以及所述读线程，以实现并行化处理。

可选地，在所述通过图形处理器执行所述写线程以及所述读线程，以实现并行化处理之后还包括：

将处理的结果存放到全局内存中，供后续模块函数执行。

可选地，所述采用统一计算设备架构将数据元素映射到并行处理线程进行加速计算包括：

采用所述统一计算设备架构对应的kernel函数并发执行节点的读请求和写请求。

可选地，所述通过图形处理器执行所述写线程以及所述读线程包括：

通过所述图形处理器在同一时刻并发处理多个线程。

本发明还提供了一种分布式存储系统的实现装置，包括：

读写请求接收模块，用于接收用户发送的读写请求；

生成模块，用于生成对应的写线程以及读线程，分别用来执行读网络数据和写网络数据；

映射模块，用于采用统一计算设备架构将数据元素映射到并行处理线程进行加速计算；

处理模块，用于通过图形处理器执行所述写线程以及所述读线程，以实现并行化处理。

可选地，还包括：

存放模块，用于在通过图形处理器执行所述写线程以及所述读线程，以实现并行化处理之后，将处理的结果存放到全局内存中，供后续模块函数执行。

可选地，映射模块具体用于：采用所述统一计算设备架构对应的kernel函数并发执行节点的读请求和写请求。

可选地，所述处理模块具体用于：通过所述图形处理器在同一时刻并发处理多个线程。