[发明专利]一种内存-闪存混合存储模式下的OLAP查询优化方法

说明书

技术领域

本发明涉及一种数据库领域中存储优化和OLAP(联机分析处理)查询优化方法，特别是关于一种适用于内存数据库一体机平台的以DRAM(动态随机存取存储器)和Flash(闪存)两级存储为基础的内存-闪存混合存储模式下的OLAP查询优化方法。

背景技术

内存分析处理(内存OLAP)是大数据实时分析处理的重要技术，在大内存和多核处理器并行处理能力的支持下，内存OLAP具有优异的实时分析处理能力，但相对于其他存储设备，如flash、磁盘等，内存仍然是非常昂贵的存储介质，而且在存储能耗上比flash高一个数量级(DRAM：～100mW/GB，NAND flash：1-10mW/GB)，内存OLAP分析处理需要以大数据为基础，内存分析处理的硬件成本很高。PCIe Flash Card作为一种大容量(几百GB至TB级存储容量)高速存储技术，已经被大量应用于高性能数据库领域，如Oracle Exadata X3内存数据库一体机配置了大容量的高速闪存卡，并提供Smart Flash Cache缓存热数据，通过数据库逻辑优化缓存算法并能够基于表指定缓存优化策略。高速闪存卡的应用一方面为昂贵的内存存储提供了廉价的二级存储扩展能力，但另一方面高速闪存卡主要用作数据库在flash上的扩展缓存，扩展了内存缓存(buffer)的容量，但并没有与内存OLAP的存储优化及查询处理优化技术结合起来，并没有在OLAP算法层面实现flash-aware的OLAP优化技术。

当前的分析型内存数据库主要以DRAM为主存储设备，flash用作替代磁盘的后备存储或磁盘缓存，还没有将flash纳入内存的OLAP算法设计中。如何将内存和大容量flash所形成的二级存储模式应用到内存分析处理领域，使之成为高性能、高性价比的主流平台，并且内存数据库不仅要支持完全内存模式的分析处理，也需要支持DRAM-flash两级存储下的内存分析处理成为亟待解决的技术问题。

发明内容

针对上述问题，本发明的目的是提供一种内存-闪存混合存储模式下的OLAP查询优化方法，该方法基于DRAM-flash两级存储，通过大容量廉价的flash提高内存存储性价比。同时，该方法能有效提高数据存储效率。进一步，本发明提供的方法可以有效提高内存和CPU使用效率。

为实现上述目的，本发明采取以下技术方案：一种内存-闪存混合存储模式下的OLAP查询优化方法，其包括以下步骤：1)OLAP存储采用flash-aware的存储模型，即根据OLAP星形或雪花形模型中维表较小、谓词操作较多的特点和事实表由外键和度量属性组成的特点，在相对较小的DRAM和相对较大flash存储之间按数据访问的局部性进行划分，在异构的两级内存上进行存储优化；2)内存OLAP采用数组存储，每个属性列存储于连续的数组单元中，表由相同长度的各属性数组组成，维表使用数组下标作为主键，事实表外键为维表中相应记录的数据下标，事实表记录能够根据外键值直接定位维表中对应的数组单元，将传统的连接操作简化为数组下标访问，进行AIR算法的OLAP查询处理；其中AIR为数组下标访问；3)将基于数组存储和AIR算法的OLAP查询处理分解为三个顺序的数据访问过程：维表访问、事实表外键访问和事实表度量属性访问，三个阶段产生的中间数据结构包括：维表过滤分组向量、选择向量和分组向量、分组多维数组；维表过滤分组向量、选择向量和分组向量为各个查询共用的数据结构，不同的查询只需要更新向量的内容，分组多维数组根据查询的不同而动态生成；4)采用在基于关键字的位图连接索引的基础上在DRAM-flash两级存储中优化存储K个关键字连接位图，从中选择n个高频访问关系字并将相应的位图存储于DRAM，其余的位图存储于flash，形成二级连接位图索引结构。

所述步骤1)中，采用内存存储引擎，维表驻留DRAM；事实表中的外键是多维分析中星形连接时访问频度较高的列，同样驻留在DRAM中；事实表的度量属性存储于flash中，并提供度量列上按位置访问API支持度量列的随机访问。

所述步骤3)中，维表过滤分组向量、选择向量和分组向量、分组多维数组存储于DRAM中；事实表度量属性存储于flash中。