[发明专利]一种内存数据库OLTP&OLAP并发查询优化方法

摘要

本发明涉及一种内存数据库OLTP&OLAP并发查询优化方法，其步骤为1)采用双查询处理引擎，对维表和事实表采用独立的存储引擎；2)维表采用嵌入式存储引擎独立的并发控制机制进行更新；事实表在逻辑上相当于若干个连续的数组，系统维护两个动态数据结构读记录指针和写记录指针，读记录指针记录当前OLAP查询的最后一条记录位置，写记录指针记录新记录的插入位置；3)OLTP事务队列与OLAP事务队列以写指针和读指针为分界各自独立执行；事实表采用基于固定行数的列存储水平分片模型，N行列存储记录作为一个独立的列存储容器，每个列存储容器采用独立的数据压缩机制；4)OLAP查询在访问列存储容器时由列存储容器访问接口提供对压缩或非压缩数据上的访问功能。

主权项

一种内存数据库OLTP&OLAP并发查询优化方法，其包括以下步骤：1)采用双查询处理引擎结构，对维表和事实表采用独立的存储引擎，分别面向更新密集型和查询密集型负载特点而选择不同的存储模型或不同的嵌入式数据库引擎；2)维表上的更新采用嵌入式存储引擎独立的并发控制机制进行更新；事实表在逻辑上相当于若干个连续的数组，系统维护两个动态数据结构：读记录指针和写记录指针，读记录指针记录当前OLAP查询的最后一条记录位置，写记录指针记录新记录的插入位置；事实表上的OLTP事务采用串行执行方式，每一个insert事务获取当前写记录指针并在完成事务后对写指针和读指针加1；3)事实表上的OLTP事务队列与OLAP事务队列以写指针和读指针为分界各自独立执行；事实表采用基于固定行数的列存储水平分片模型，N行列存储记录作为一个独立的列存储容器，每个列存储容器采用独立的数据压缩机制，插入记录首先以原始形式存储在列存储容器中，在查询负载较轻或存储空间不足时启动列压缩进程完成对列数据的压缩处理，在数据压缩时原始数据列仍然能提供数据访问，当完成列数据压缩时，用压缩的列数据替代原始的非压缩数据列，释放存储空间；4)OLAP查询在访问列存储容器时由列存储容器访问接口提供对压缩或非压缩数据上的访问功能，屏蔽列存储容器内部数据压缩与非压缩结构的差异。