[发明专利]优化数据访问的方法及装置、优化数据存储的方法及装置

权利要求书

1.一种优化数据访问的方法，其特征在于，包括：

主控制器接收用户访问HBASE中数据表的请求，所述请求中携带数据输入范围信息，所述数据输入范围信息包括多个数据输入范围；

根据所述数据表的分区信息及所述数据输入范围信息，确定输入分块信息；

根据所述输入分块信息确定Map任务个数；

按照所述Map任务个数分配从处理器读取所述数据表中的数据；

将所述从处理器读取的数据返回给所述用户。

2.如权利要求1所述的方法，其特征在于，所述多个数据输入范围为以下任意一种形式：

列表形式，并且列表中包含多个范围查询对象，每个范围查询对象为一个数据输入范围；

列表形式，并且列表中包含多个起始、终止数据范围对，每个起始、终止数据范围对表示一个数据输入范围；

文件形式。

3.如权利要求1或2所述的方法，其特征在于，所述根据所述数据表的分区信息及所述数据输入范围信息，确定输入分块信息包括：

获取所述数据表中所有分区的起始键值和终止键值；

将所述数据输入范围信息中的数据输入范围分别与各分区的起始键值和终止键值进行比较，得到所述数据输入范围在各分区中的覆盖范围；

根据所述覆盖范围确定输入分块信息。

4.如权利要求3所述的方法，其特征在于，所述方法还包括：

在根据所述覆盖范围确定输入分块信息之前，将得到的所有覆盖范围中属于同一个分区并且连续的覆盖范围合并；

所述根据所述覆盖范围确定输入分块信息包括：

根据合并后的覆盖范围确定输入分块信息。

5.如权利要求3或4所述的方法，其特征在于，所述方法还包括：

在将所述数据输入范围信息中的数据输入范围分别与各分区的起始键值和终止键值进行比较之前，对所述数据输入范围信息中的数据输入范围进行排序。

6.如权利要求3或4或5所述的方法，其特征在于，所述输入分块信息包括：输入分块个数及每个输入分块的起始键值和终止键值；

所述根据所述输入分块信息确定Map任务个数包括：根据所述输入分块个数确定Map任务个数，每个Map任务对应一个输入分块；

所述按照所述Map任务个数分配从处理器读取所述数据表中的数据包括：

为每个Map任务分配一个从处理器，并将所述Map任务对应的输入分块的起始键值和终止键值传送给所述从处理器，以使所述从处理器根据所述输入分块的起起始键值和终止键值读取所述数据表中的数据。

7.一种优化数据存储的方法，其特征在于，包括：

主控制器接收用户向HBASE中数据表存储数据的请求，所述请求中携带一个或多个数据输出范围；

根据所述数据表的分区信息及所述数据输出范围，确定输出分块信息；

根据所述输出分块信息确定Reduce任务个数；

按照所述Reduce任务个数分配从处理器向所述数据表中写入数据。

8.如权利要求7所述的方法，其特征在于，所述数据输出范围为以下任意一种形式：

列表形式，并且列表中包含一个或多个起始、终止数据范围对，每个起始、终止数据范围对表示一个数据输出范围；

文件形式。

9.如权利要求7或8所述的方法，其特征在于，所述根据所述数据表的分区信息及所述数据输出范围，确定输出分块信息包括：

获取所述数据表中所有分区的起始键值和终止键值；

将所述数据输出范围分别与各分区的起始键值和终止键值进行比较，得到所述数据输出范围覆盖的分区信息；

根据所述分区信息确定输出分块信息。

10.如权利要求9所述的方法，其特征在于，所述输出分块信息包括：输出分块个数；

所述根据所述输出分块信息确定Reduce任务个数包括：根据所述输出分块个数确定Reduce任务个数，每个Reduce任务对应一个输出分块；

所述按照所述Reduce任务个数分配从处理器向所述数据表中写入数据包括：

为每个Reduce任务分配一个从处理器，并将所述Reduce任务对应的存储数据传送给所述从处理器，以使所述从处理器将所述Reduce任务对应的存储数据写入所述输出分块对应的分区中。