[发明专利]分布式海量数据处理方法及装置

说明书

本发明提供一种分布式海量数据处理方法及装置，包括：向元数据服务器发送索引请求；接收元数据服务器返回的可用服务器列表；对待索引的原始数据进行拆分，以获得拆分后的分块数据，并为分块数据分配数字编号；以分块数据的分块信息为键值，将分块数据的存储位置映射到可用服务器标识列表中；将与第二数据索引服务器标识对应的分块数据发送给第二数据索引服务器，以对分块数据进行存储；接收元数据服务器返回的索引完成信息。采用上述方法及装置，多个第二数据索引服务器可同时对接收到的分块数据进行存储，极大的提高了存储效率，并且通过索引完成信息即可完成在对存储的原始数据的查找，极大的提高了检索的效率。

技术领域

本发明涉及分布式存储技术领域，尤其涉及一种分布式海量数据处理方法及装置。

背景技术

B+树索引结构是多级索引结构中的一种，因其较快的查询速度，在文件系统中广泛用作建立索引。现有的B+及其变种索引结构在分布式环境下，为了维持索引结构本身的平衡性，每编辑一条索引都需要对结构进行左旋或者右旋操作，当数据量很大时候，这些操作方式就会导致数据在节点之间来回移动，带来了巨大的网络通信成本。

基于现有技术中的压缩算法、位图索引结构和分布式计算，以期寻求一种方法来解决上述问题。其中，压缩算法是减少数据大小的一种有效方式，可以分为有损压缩和无损压缩两种，在索引过程中一般使用无损压缩，常用的算法主要有 gzip，bzip2和lzop几种，这些算法用在数据索引过程中会存在索引信息需要解压缩才能使用索引信息的问题，同样这个解压缩的操作会带来时间和空间成本开销，而且在压缩比比较高的时候，压缩产生的文件会比未压缩的数据大。位图索引结构使用位图来对数据进行索引，可以利用计算机高效的按位逻辑操作来快速处理组合查询，充分发挥了位图的计算优势，目前位图索引的压缩方式有按行程编码、字节编码、混合行程编码、字节对其编码等方式，这些索引方式都极大的提高了执行速度，并且可以减少索引信息大小，可以在不解压缩的情况下对数据进行处理；其中字对齐位图索引较好的利用了现有计算机字处理为单位的特性，具有非常好的性能优势。分布式计算为海量数据的存储和管理提供了可能，因为其可以有效地利用多台独立的服务器资源来满足海量数据对计算和存储的需要。这种方式是当前应对海量数据增长的一种有效方案，但是随着数据量的急剧增长，大数据的高性能索引和查询成为了当前计算和存储过程中的一项迫切需求。

目前的分布式B+树几乎没有产品级的工业应用，压缩-字对齐位图索引主要在单机和并行环境下使用比较多，一些分布式下的索引使用异构方式，即部分使用B+，部分使用位图的混合方式，这种结构的缺点会导致全局索引不均衡，导致系统索引和查询的吞吐量降低，而一些分布式位图索引没有进行压缩，因此在数据量非常大的时候索引数据会比数据大几倍，这就带来了巨大的索引成本。

发明内容

为了解决上述问题，本发明提供一种分布式海量数据处理方法及装置，以提高存储和检索的效率。

本发明第一方面提供一种分布式海量数据处理方法，包括：

客户端向元数据服务器发送索引请求；

客户端接收所述元数据服务器返回的可用服务器列表；可用服务器列表包括一个或多个第一数据索引服务器标识，所述第一数据索引服务器标识与所述第一数据索引服务器一一对应；

客户端对待索引的原始数据进行拆分，以获得拆分后的分块数据，并为所述分块数据分配数字编号；所述分块数据包括分块信息，所述分块信息包括所述分块数据所属的原始数据的文件名称、当前时间戳、数字编号和通用唯一识别码 UUID；

客户端根据分布式一致性哈希算法，以所述分块数据的所述分块信息为键值，将所述分块数据的存储位置映射到所述可用服务器标识列表中，以获得与所述分块数据对应的第二数据索引服务器标识，其中，第一数据索引服务器标识包括第二数据索引服务器标识；

客户端将与第二数据索引服务器标识对应的所述分块数据发送给第二数据索引服务器，以使得所述第二数据索引服务器对所述分块数据进行存储；