[发明专利]基于ClickHouse数据库内存数据的查询支持方法及系统

说明书

本发明公开基于ClickHouse数据库内存数据的查询支持方法及系统，涉及数据库内存数据处理领域；构造块数据对象，临时存储内存数据，利用迭代器循环查找所需内存数据，将符合条件的内存数据保存至块数据对象中，按照ClickHouse数据库建表排序方式进行块数据对象中内存数据的排序处理，调用ClickHouse折叠树引擎的内存数据写入接口，将块数据对象中内存数据写入至ClickHouse的内存数据对象中，通过ClickHouse的SQL执行流程将内存数据对象信息作为元数据信息插入至存储磁盘元数据信息的列表中，根据元数据信息对列表中磁盘的内存数据进行获取，查询处理磁盘中的内存数据。

技术领域

本发明公开方法及系统，涉及数据库内存数据处理领域，具体地说是基于ClickHouse数据库内存数据的查询支持方法及系统。

背景技术

ClickHouse是一款MPP架构的列式存储数据库，主要用于在线分析处理查询(OLAP)，能够使用SQL查询并实时生成分析数据报告，分析性能超过市场上大部分的列式存储数据库。

但是，当使用ClickHouse进行内存数据查询的时候，需要先对这部分数据通过一系列的执行算子进行处理，查询过程繁琐且查询消耗时间较长，才能最终得到查询结果，否则无法感知内存表中的数据，而且也无法处理其中的数据。

发明内容

本发明针对现有技术的问题，提供基于ClickHouse数据库内存数据的查询支持方法及系统，支持内存中数据的写入读取，减少查询过程中不必要的数据落盘，进而提升查询性能。

本发明提出的具体方案是：

基于ClickHouse数据库内存数据的查询支持方法，构造块数据对象，临时存储内存数据，

利用迭代器循环查找所需内存数据，将符合条件的内存数据保存至块数据对象中，

按照ClickHouse数据库建表排序方式进行块数据对象中内存数据的排序处理，

调用ClickHouse折叠树引擎的内存数据写入接口，将块数据对象中内存数据写入至ClickHouse的内存数据对象中，

通过ClickHouse的SQL执行流程将内存数据对象信息作为元数据信息插入至存储磁盘元数据信息的列表中，根据元数据信息对列表中磁盘的内存数据进行获取，查询处理磁盘中的内存数据。

进一步，所述的基于ClickHouse数据库内存数据的查询支持方法中循环查找所需内存数据：

利用迭代器根据需要查询的内存数据的起始信息，构造出迭代器所需要的起始值，根据起始值，查找所需内存数据的起始位置，

利用迭代器循环查找下一条内存数据，过滤不符合条件的内存数据，保存符合条件的内存数据至块数据对象中，直至获取不到符合条件的内存数据，终止查找。

进一步，所述的基于ClickHouse数据库内存数据的查询支持方法中ClickHouse的SQL执行流程：

将内存数据对象信息作为元数据信息插入至存储磁盘元数据信息的列表中，

解析sql，生成对应的抽象语法树，

构建所述抽象语法树的解释器，通过解释器获取存储磁盘元数据信息，

调用内存数据对象的读取接口根据元数据信息对列表中磁盘的内存数据进行获取，查询处理磁盘中的内存数据。

进一步，所述的基于ClickHouse数据库内存数据的查询支持方法中解释器获取存储磁盘元数据信息：

根据解释器生成逻辑计划，将存储磁盘元数据信息的列表存储在逻辑计划中，

根据逻辑计划，生成物理计划，