[发明专利]一种海量数据的处理方法及装置

权利要求书

1.一种海量数据的处理方法，其特征在于，包括：

接收用业务元数据描述的查询请求，所述查询请求中包括查询条件；

根据业务元数据与技术元数据之间的映射关系查找所述查询条件对应的技术元数据；

根据所述技术元数据到数据库中查找符合查询条件的索引范围；

在所述索引范围中根据查询请求确定详单数据。

2.根据权利要求1所述的方法，其特征在于，所述查询条件包含至少一个业务维度；所述根据业务元数据与技术元数据之间的映射关系查找所述查询条件对应的技术元数据，具体包括：

分析用业务元数据描述的查询请求中所包含的业务维度所对应的用技术元数据描述的技术维度；

根据查找到的技术维度确定技术元数据的物理表，所述物理表中包括所述物理表的存放目录，物理表中记录的列字段，物理表中记录的技术元数据的主键rowkey，多级索引和物理表中记录的技术元数据的来源。

3.根据权利要求2所述的方法，其特征在于，所述根据所述技术元数据到数据库中查找符合查询条件的索引范围，具体包括：

在与查询请求的各项业务维度各自相匹配的维度范围索引中查找该项业务维度的rowkey的范围；

将查找到的各项业务维度的rowkey范围取交集作为索引范围。

4.根据权利要求1或2所述的方法，其特征在于，所述在所述索引范围中根据查询请求确定详单数据，具体包括：

到数据库的缓存里的所述索引范围中根据查询请求查找对应的详单数据，若查找到，则返回；若未查找到，则到底层文件存储系统中查找。

5.根据权利要求1或2所述的方法，其特征在于，所述数据库为分布式数据库。

6.一种海量数据的处理装置，其特征在于，包括：

接收模块，用于接收用业务元数据描述的查询请求，所述查询请求中包括查询条件；

映射模块，用于根据业务元数据与技术元数据之间的映射关系查找所述查询条件请求对应的技术元数据；

索引模块，用于根据所述技术元数据到数据库中查找符合查询条件的索引范围；

确定模块，用于在所述索引范围中根据查询条件确定详单数据。

7.根据权利要求6所述的装置，其特征在于，所述查询条件包含至少一个业务维度；

所述映射模块，具体包括：

分析单元，用于分析用业务元数据描述的查找请求中所包含的业务维度所对应的用技术元数据描述的技术维度；

确定单元，用于根据查找到的技术维度确定技术元数据的物理表，所述物理表中包括所述物理表的存放目录，物理表中记录的列字段，物理表中记录的技术元数据的主键rowkey，多级级索引和物理表中记录的技术元数据的来源。

8.根据权利要求7所述的装置，其特征在于，所述索引模块，具体包括：

范围单元，用于在与查询请求的各项业务各自相匹配的维度范围索引中查找该项业务维度的rowkey的范围；

交集单元，用于将查找到的各项查询条件业务维度的rowkey范围取交集作为索引范围。

9.根据权利要求6或7所述的装置，其特征在于，所述确定模块，具体用于到数据库的memstore缓存里的所述索引范围中根据查询请求查找对应的详单数据，若查找到，则返回；若未查找到，则到底层文件存储系统中查找。

10.根据权利要求6或7所述的装置，其特征在于，该装置适用于分布式数据库。