[发明专利]一种海量数据的处理方法及装置

说明书

技术领域

本发明涉及数据业务领域，特别涉及一种海量数据的处理方法及装置。

背景技术

现有的综合分析系统对大量数据的查询、数据导出等给出了相关的技术思路。如图1所示是该综合分析系统中的查询方案实现过程。从图1中可知，现有的综合分析系统采用传统关系型数据库存储多结构化数据，并且直接对外提供详单查询。

由此可知，现有的综合分析系统在处理海量数据查询和存储过程中，至少存在如下技术问题：

传统关系型数据库存储和查询文本非结构化数据效率极其低下，文本在数据库中只能采用大字段存储，无论是存储还是检索，效率非常低下。

查询并发性低，通过rowkey从关系数据库中直接查询详单数据，受磁盘IO和关系数据库存储方式的约束，不能提供低延时的高并发查询。

查询条件需要输入较专业的技术内容，对查询人员的技术要求较高，并且组合条件查询需要建立非常多的联合索引，为了保持数据的一致性，会影响入库效率，为了能够匹配更多的条件组合，需要建立非常多的联合索引，以提高查询效率，直接导致联合索引的维护性差。

发明内容

为了解决现有技术中面对海量数据的存储和查询时效率低、维护性差等技术问题，本发明提出一种海量数据的处理方法及装置。

一种海量数据的处理方法，包括：

接收用业务元数据描述的查询请求，所述查询请求中包括查询条件；

根据业务元数据与技术元数据之间的映射关系查找所述查询条件对应的技术元数据；

根据所述技术元数据到数据库中查找符合查询条件的索引范围；

在所述索引范围中根据查询请求确定详单数据。

一种海量数据的处理装置，包括：

接收模块，用于接收用业务元数据描述的查询请求，所述查询请求中包括查询条件；

映射模块，用于根据业务元数据与技术元数据之间的映射关系查找所述查询条件对应的技术元数据；

索引模块，用于根据所述技术元数据到数据库中查找符合查询条件的索引范围；

确定模块，用于在所述索引范围中根据查询条件确定详单数据。

本发明提供的方案中结合开源的大数据架构，通过将业务元数据自动映射成业务元数据的手段，对应用屏蔽了复杂的技术结构，解决了现有技术中查询人员使用数据库时由于需要较专业的技术内容导致的查询效率低下，可用性差的技术问题，提高了系统的易用性和灵活性，并且通过确定的范围索引提高了组合条件查询的实用性，提高了查询效率和系统的维护性。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为背景技术中综合分析系统中的查询方案实现过程示意图；

图2为本发明实施例1提供的海量数据的处理过程示意图；

图3为本发明实施例1提供的海量数据的处理方法的流程图；

图4为本发明实施例1提供的海量数据的处理方法中业务元数据与技术元数据之间的关系示意图；

图5为本发明实施例1提供的海量数据的处理方法中业务元数据与技术元数据之间的另一关系示意图；

图6为本发明实施例1提供的海量数据的处理方法中实现多级索引过程的示意图；

图7为本发明实施例2提供的海量数据的处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

并且，以下各实施例均为本发明的可选方案，实施例的排列顺序及实施例的编号与其优选执行的顺序无关。

实施例1