[发明专利]一种基于ClickHouse数据库的MVCC多版本折叠树实现系统及方法

说明书

本发明公开了一种基于ClickHouse数据库的MVCC多版本折叠树实现系统及方法，属于数据库数据存储处理技术领域。本发明的基于ClickHouse数据库的MVCC多版本折叠树实现系统包括多版本折叠树定义声明模块、多版本折叠树合并模块和多版本折叠树查询模块；多版本折叠树定义声明模块：增加一个新的折叠树，设置一个整型列为删除标记列，设置wall_time列和logic_time列为版本号列；多版本折叠树合并模块：对折叠树保存的数据分区进行合并。该发明的基于ClickHouse数据库的MVCC多版本折叠树实现系统能够有效降低硬盘中的数据的读取，具有很好的推广应用价值。

技术领域

本发明涉及数据库数据存储处理技术领域，具体提供一种基于ClickHouse数据库的MVCC多版本折叠树实现系统及方法。

背景技术

ClickHouse是一款MPP架构的列式存储数据库，主要用于在线分析处理查询(OLAP)，分析性能超过市场上大部分的列式存储数据库，尤其是对单表的分析性能极好。

MVCC(多版本并发控制)数据，包含一个HLC时间戳，它是由两个整型值组成，分别是wall_time和logic_time，用来控制数据的版本信息。当wall_time和logic_time不同时为0时，这条数据便是业务数据，当wall_time和logic_time同时为0时，即为写意图数据。

我们在使用ClickHouse自带多版本折叠树进行MVCC数据存储时，发现当我们存储多版本数据的情况下，由于我们的版本号列需要进行两种不同的情况的计算，所以ClickHouse自带的多版本折叠树无法满足我们的需求(它只会根据版本号保留最新的一个)。

因此，我们需要根据ClickHouse自带多版本折叠树进行改造，制定出一个能够根据版本号处理，进行多种情况的数据折叠的MVCC折叠树。

发明内容

本发明的技术任务是针对上述存在的问题，提供一种能够有效降低硬盘中的数据的读取，减少磁盘IO，并能有效降低存储空间使用率的基于ClickHouse数据库的MVCC多版本折叠树实现系统。

本发明进一步的技术任务是提供一种基于ClickHouse数据库的MVCC多版本折叠树实现方法。

为实现上述目的，本发明提供了如下技术方案：

一种基于ClickHouse数据库的MVCC多版本折叠树实现系统，包括多版本折叠树定义声明模块、多版本折叠树合并模块和多版本折叠树查询模块；

多版本折叠树定义声明模块：增加一个新的折叠树，设置一个整型列为删除标记列，设置wall_time列和logic_time列为版本号列；

多版本折叠树合并模块：对折叠树保存的数据分区进行合并；

多版本折叠树查询模块：对多版本折叠树的使用与执行流程进行说明。

作为优选，所述删除标记列为选取建表语句中的一整型值列，其值为1表示该条数据插入，等于-1表示删除该条数据。

作为优选，版本号列为元组列，包含wall_time和logic_time两个值，排序规则为首先对wall_time进行比较，若值相等再比较logic_time，该列用于对多版本数据进行标记。

多版本折叠树声明模块运行包括以下步骤：

(1)选取一列整型值作为删除标记；

(2)将MVCC数据中的HLC数据，即包含一个wall_time和logic_time两列，保存为一个元组，作为版本号使用。

作为优选，ClickHouse后台进行不同数据分区合并时，数据分区之间根据该模块中的合并算法进行合并。