[发明专利]数据读写方法及分布式存储系统

说明书

本申请公开了数据读写方法及分布式存储系统。该方法的一具体实施方式包括：分片服务器接收客户端发送的对分片数据的包含分片数据的数据标识的处理请求；基于预先加载在内存中的指示分片数据的数据标识与数据索引的对应关系的哈希表，对处理请求进行处理，得到处理结果；将处理结果发送至客户端。实现了通过加载在内存中的哈希表完成对数据的读写，使得对数据的读取请求的处理时间接近于分布式文件系统本身的极限性能，对数据的写入请求的耗时接近于分布式文件系统以追加写方式写入所消耗的时间，从而提升了分布式存储系统的性能，同时，依靠分布式文件系统对数据进行存储，具有等同于分布式文件系统的可靠性，进而提升分布式存储系统的可靠性。

技术领域

本申请涉及计算机领域，具体涉及分布式技术领域，尤其涉及数据读写方法及分布式存储系统。

背景技术

目前，对于网络中的海量数据，通常采用分布式存储系统对海量数据进行存储。在已知的分布式存储系统中，通常采用sstable文件对数据进行存储，对数据的读取则通过在所有sstable文件中进行二分查找实现。当采用上述分布式存储系统对数据进行存储时，一方面，由于sstable文件中数据是有序排列的，因此需要频繁的对各个sstable文件做归并排序，对于很大的数据长度(例如单条数据长度在1MB以上)，在完全随机读取以及高吞吐的情形下，sstable文件合并过程所消耗的资源量大，从而造成系统瓶颈。另一方面，sstable文件在通常以3副本形式存储数据，存储成本较大。

发明内容

本申请提供了数据读写方法及分布式存储系统，用于解决上述背景技术部分存在的技术问题。

第一方面，本申请提供了数据读写方法，该方法包括：分片服务器接收客户端发送的对分片数据的包含分片数据的数据标识的处理请求，所述处理请求包括：写入请求、读取请求；基于预先加载在内存中的指示分片数据的数据标识与数据索引的对应关系的哈希表，对处理请求进行处理，得到处理结果，数据索引包括所述分片数据在分布式文件系统中的存储位置；将处理结果发送至客户端。

第二方面，本申请提供了数据读写方法，该方法包括：接收客户端发送的查询请求，查询请求包括待处理的分片数据对应的数据标识；基于数据标识对应的哈希值所处的哈希值区间，确定用于对待处理的分片数据进行处理的分片服务器，以使客户端可向分片服务器发送对分片数据的处理请求对待处理的分片数据进行处理，其中，每一个分片服务器预先对应多个哈希值区间。

第三方面，本申请提供了数据读写方法，该方法包括：接收对分片数据的处理指令，向主控服务器发送查询请求，查询请求包括分片数据的数据标识；向分片服务器发送对分片数据的处理请求，分片服务器为经由主控服务器基于分片数据的数据标识而确定的分片服务器；接收分片服务器返回的对处理请求进行处理之后得到的处理结果。

第四方面，本申请提供了分布式存储系统，该系统包括：客户端，配置用于接收对分片数据的处理指令，向主控服务器发送查询请求，查询请求包括所述分片数据的数据标识；向分片服务器发送对分片数据的处理请求，分片服务器为经由主控服务器基于分片数据的数据标识而确定的分片服务器；接收分片服务器返回的对处理请求进行处理之后得到的处理结果；主控服务器，配置用于基于配置用于接收客户端发送的查询请求，查询请求包括待处理的分片数据对应的数据标识；基于数据标识对应的哈希值所处的哈希值区间，确定用于对待处理的分片数据进行处理的分片服务器，以使客户端可向分片服务器发送对分片数据的处理请求对待处理的分片数据进行处理，其中，每一个分片服务器预先对应多个哈希值区间；分片服务器，配置用于接收客户端发送的对分片数据的包含分片数据的数据标识的处理请求，处理请求包括：写入请求、读取请求；基于预先加载在内存中的指示分片数据的数据标识与数据索引的对应关系的哈希表，对处理请求进行处理，得到处理结果，数据索引包括分片数据在分布式文件系统中的存储位置；将处理结果发送至客户端。