[发明专利]一种联机分析处理方法及装置

说明书

一种联机分析处理方法及装置，所述方法包括如下步骤：接收查询指令，所述查询指令包括待查询条件；基于所述待查询条件在预设列存储库中确定与所述待查询条件关联的列存储子库，所述预设列存储库包括至少一个列存储子库，所述列存储子库中按列存储有至少一个纪录，每一纪录包括标识以及所述标识对应的数据，不同的列存储子库中的数据具有不同的属性；从与所述待查询条件关联的所述列存储子库中查找获得符合所述待查询条件的纪录。通过本发明提供的技术方案能够更好地解决大数据量导致的磁盘IO瓶颈问题，有效提高联机分析处理的处理速度以及处理效率，有利于联机分析处理模式的大规模推广和应用。

技术领域

本发明涉及大数据应用领域，具体地涉及一种联机分析处理方法及装置。

背景技术

现阶段，在数据仓库系统领域，主要依赖于联机分析处理(On-Line AnalyticalProcessing，简称OLAP)来对海量数据进行复杂的分析操作，从而为决策人员和高层管理人员的决策提供数据支持。计算机在进行联机分析处理时，可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理，并且以一种直观而易懂的形式将查询结果呈现给决策人员，便于用户准确掌握企业的经营状况，了解对象的需求，进而制定正确的方案。

对于企业中的专业分析人员及管理决策人员而言，他们在分析业务经营的数据时，通常需要从不同的角度来审视业务的衡量指标。例如，用户在分析销售数据时，可能会综合时间周期、产品类别、分销渠道、地理分布、客户群类等多种因素来进行综合考量。这些分析角度虽然可以通过报表来反映，但每一个分析的角度可以生成一张报表，各个分析角度的不同组合又可以生成不同的报表，这无疑会增大报表制作人员的工作量，而且往往难以跟上管理决策人员思考的步伐。

为了应对用户的多样化需求，基于联机分析处理来处理海量数据的方案应运而生。在进行联机分析处理时，计算机可以直接仿照用户的多角度思考模式，预先为用户组建多维的数据模型，其中，“维”指的是用户配置的分析角度。仍以对销售数据的分析为例，可以分别将时间周期、产品类别、分销渠道、地理分布、客户群类作为一个维度。当多维数据模型建立完成后，用户可以快速地从各个分析角度获取数据，也能动态、灵活的在各个角度之间切换或者进行多角度综合分析。总的来说，联机分析处理从设计理念和真正实现上都与旧有的管理信息系统有着本质的区别。

但是，现有的联机分析处理方案在实际应用时，若存储的数据量达到一定的级别(例如，TB级别)，则很有可能出现磁盘输入和输出口(Input Output，简称IO)瓶颈的问题。现有的一种解决方案是采用增加磁盘数量的方式，例如，通过布置12块、24块甚至更多的磁盘来分摊IO；另一种解决方案则是加大内存，使得内存中能够存储或缓存尽可能多的数据。但是，这两种方案均会导致成本急剧增加，对于第一种方案还可能引发较高的故障率，不利于联机分析处理模式的大规模推广和应用。

发明内容

本发明解决的技术问题是现有的联机分析处理方案在处理海量数据时，极易发生磁盘IO瓶颈以及高故障率的问题。

为解决上述技术问题，本发明实施例提供一种联机分析处理方法，包括如下步骤：接收查询指令，所述查询指令包括待查询条件；基于所述待查询条件在预设列存储库中确定与所述待查询条件关联的列存储子库，所述预设列存储库包括至少一个列存储子库，所述列存储子库中按列存储有至少一个纪录，每一纪录包括标识以及所述标识对应的数据，不同的列存储子库中的数据具有不同的属性；从与所述待查询条件关联的所述列存储子库中查找获得符合所述待查询条件的纪录。

可选的，所述查询指令包括多个待查询条件以及基于所述多个待查询条件的代数计算式。

可选的，从与所述待查询条件关联的所述列存储子库中查找获得符合所述待查询条件的纪录包括：对于每一个待查询条件，从与所述待查询条件对应的所述列存储子库中查找获得符合所述待查询条件的纪录；根据所述代数计算式，对所述多个待查询条件各自查询获得的所述纪录进行代数计算，以得到代数计算结果。