[发明专利]一种分布式数据的处理方法及装置

说明书

本发明提供一种分布式数据的处理方法及装置，该处理方法包括：将原始数据分别写入多个副本分片中，并为不同的副本分片设置标识不同功能的标签；响应不同的操作请求，根据所述副本分片的标签确定与所述不同的操作请求对应的副本分片，其中所述操作请求至少包括分析数据的操作请求和查询数据的操作请求；读取确定的所述副本分片的数据，并对所述数据进行相应的操作。本发明实施例对同一份原始数据利用不同标签的副本分片进行不同业务数据处理，极大的降低了数据存储的冗余度，提高了数据处理的效率；且由于不同的操作请求分别落在不同的副本分片上，对不同的响应时间要求的数据处理的输入/输出可以进行完全的隔离，保证了性能的隔离。

技术领域

本发明涉及数据处理技术领域，特别涉及一种分布式数据的处理方法及装置。

背景技术

由于目前数据库的查询处理对数据的实时响应要求较高，实时交易类请求需达ms级响应；数据仓库类的分析类处理有些对时延不敏感，仅对准确性有要求，有些大规模数据分析系统分钟级结果汇总也可接受。为满足两种不同特性的数据处理需求，目前的应用多会对数据分别组织，且数据也是基于两份完全独立的数据进行查询和分析。每份数据存储时为考虑可靠性往往又通过磁盘阵列RAID机制或副本机制进行存储，因此为了满足访问效率而造成了大量的数据冗余。常见的基于集群数据处理的多租户实现方式如下：

(一)、传统数据库或数据仓库的多租户模式，如图1、图2所示：对于分布式数据库的多租户数据虽然统一存储，但是以DB实例或表进行隔离，需要存储多套应用数据。图1表示通过一个数据库多个表实现对多个用户查询调度请求的分担，实现表级别的数据隔离，用户的访问请求和调度是在一个大数据库内进行；图2表示不同的用户对应不同的数据库实例，各自只访问自己的数据库实例中的数据表或数据，可在数据库实例层面做一些用户差异化配置。但由于受限于数据组织方式这两种多租户方式实现时仅限于一种应用场景(或数据库查询或数据仓库分析)进行不同层面的租户隔离和调度，必须单独建立一个查询库或分析库，数据单独两份。底层的数据存储一般通过传统的RAID方式做数据保护，RAID10放数据文件，再划一部分RAID5放数据归档文件，因此在存储空间的利用率和数据访问效率上都偏低，但在数据安全性上较高。

(二)、基于hadoop架构的数据分析处理框架，如图3所示：在类似hadoop的数据处理架构中，通过调度不同的job隔离查询和分析访问。可以通过分布式结构化存储系统Hbase引擎做查询，数据库仓库工具HIVE做分析汇总，但仍然需要组织Hfile和new txt两种文件形式分别存储查询和分析的两类数据，非结构化的分析数据在做查询时需要预先导入成Hbase可识别的Hfile文件存储在分布式文件系统HDFS上。底层的数据保护通过三副本方式打散存储在分布式服务器集群中。因此从底层数据来看一套数据会被存储两次，同时为保障数据可靠性再通过副本机制作更细粒度的分片副本，造成数据进一步的冗余存储。

特别的以hadoop架构实现的技术方案分析如下图4：

用于分析的原始new txt非结构化数据如果需要用于查询，需要预先通过bulkload方式导入转换为Hbase，单独存储组织成为一份数据文件进行查询时使用。

综上，现有技术中，在大数据同一存储服务的应用背景下，承载在大数据平台上的应用往往对同套数据既要做数据交易查询，同时又要数据分析；现有方案在解决多租户查询和分析统一数据处理时多采用查询和分析分别多套数据存储的方式，在海量数据处理时会造成数据存储的大量冗余。

发明内容

本发明的目的在于提供一种分布式数据的处理方法及装置，使得多类应用可共用一份数据，极大的降低了数据存储的冗余度。

为了达到上述目的，本发明实施例提供一种分布式数据的处理方法，包括：

将原始数据分别写入多个副本分片中，并为不同的副本分片设置标识不同功能的标签，其中，所述多个副本分片至少包括具有分析标签的副本分片、具有查询标签的副本分片以及具有仲裁一致标签的副本分片；