[发明专利]一种新型的OLAP预计算模型及构建方法

说明书

本发明涉及一种新型的OLAP预计算模型及构建方法，该新型的OLAP预计算模型包括：查询引擎、SQL转换器、维度组合存储器；还涉及一种构建方法，该构建方法包括：获取SQL查询语句；将SQL查询语句解析成相应的维度组合；查询已构建完成的维度组合里是否存在当前的维度组合；当不存在时，记录相应的维度组合信息到维度组合存储器里；形成一个离散维度组合的集合，根据离散维度组合之间的相关性，逐层构建出每个维度组合。通过本发明的模型，在维度组合存储器中可以不断地更新维度组合，使得该模型不但支持时间增量的分段构建，也支持维度和度量的增量构建，另外该模型也极大地提高了查询效率，降低了存储空间，同时也保证了查询响应速度。

技术领域

本发明属于OLAP大数据信息领域，尤其涉及一种新型的OLAP预计算模型及构建方法。

背景技术

传统OLAP预计算为了满足可能的查询场景，Cube构建时会尽可能多的包含Cuboids，一般维度数为N的Cube，其Cuboid的数量最大为2的N次方，所以当数据规模较大，维度数量较多，构建时会消耗大量的时间、预计算结果占用大量存储。虽然可以采用一些手段裁剪一定数量的Cuboid，但总存在一定数量的Cuboid，在查询时几乎用不到，导致极大的浪费。另一方面，现有技术方案的构建粒度是以Cube作为基本单位，Cube定义完毕并构建完成后其元数据是不能修改的，如果仅仅在原Cube基础上哪怕是添加一个新的维度或者度量就需要完全新建一个Cube并重新构建，导致不能利用之前的计算结果，灵活性不高。

发明内容

本发明所要解决的技术问题是：现有技术中构建粒度是以Cube作为基本单位，Cube定义完毕并构建完成后其元数据不能修改，导致不能利用之前的计算结果，灵活性不高。

为解决上面的技术问题，本发明提供了一种新型的OLAP预计算模型，

该新型的OLAP预计算模型包括：查询引擎、SQL转换器、维度组合存储器；

所述SQL转换器，用于将输入的SQL查询语句转换成相应的维度组合；

所述查询引擎，用于根据所述相应的维度组合，查询所述维度组合存储器中已构建完成的多组维度组合里是否存在与所述SQL查询语句匹配的维度组合；

所述查询引擎，还用于当不存在匹配的维度组合时，记录所述相应的维度组合信息，并将所述相应的维度组合信息发送给所述维度组合存储器；

所述维度组合存储器，用于根据离散维度组合之间的相关性和所述相应的维度组合信息，构建出所述匹配的维度组合，并将匹配的维度组合和所述已构建完成的多组维度组合逐层形成新的拓扑层级结构。

本发明的有益效果：通过上述的模型，在维度组合存储器中可以不断地更新维度组合，使得该模型不但支持时间增量的分段构建，也支持维度和度量的增量构建，另外该模型也极大地提高了查询效率，降低了存储空间，同时也保证了查询响应速度。

进一步地，所述维度组合存储器，还用于当不存在与所述SQL查询语句匹配的维度组合时，直接从源数据中查询出结果。

进一步地，所述维度组合存储器包括：已构建完成的多组维度组合，其中部分的维度组合是通过采用MapRecuce计算框架构建成具有拓扑层级结构的维度组合，剩余部分的维度组合是相互离散的且不具备拓扑层级结构的维度组合。

进一步地，所述具有拓扑层级结构的维度组合中下层的维度组合的预计算结果是通过将上层的维度组合的预计算结果进行聚合计算得到的。

进一步地，所述维度组合存储器，具体用于根据离散维度组合之间的相关性和所述相应的维度组合信息，构建因维度或者度量增量而形成的新的维度组合，将所述新的维度组合与其所述已构建完成的多组维度组中的维度组合共同合并成所述匹配的维度组合。

本发明还涉及一种新型的OLAP预计算模型的构建方法，该构建方法包括：