[发明专利]由行存储到列存储的格式转化方法、查询方法及装置

说明书

本发明提供了一种由行存储到列存储的格式转化方法、查询方法及装置，该格式转化方法包括：读取数据库结构体类型的行存储表数据，并将读取的行存储表数据存储至数据库结构体类型的表中；从结构体类型的表读取表总数和各表表名，解析数据库结构体类型的表中的各表，得到行存储表数据的各表的各列的列名和列数据类型，以及获取硬件解析所述数据库所需信息；根据表总数、表名、列名及列数据类型创建包含硬件解析数据库所需信息的设定列存储格式的列容器；以行为单位从解析后的行存储表数据的各表读取数据，并将以行为单位读取的数据存储至列容器中，得到列存储表数据。通过上述方案能够实现存储格式转化，提高硬件解析数据库的效率和速度。

技术领域

本发明涉及数据存储技术领域，尤其涉及一种由行存储到列存储的格式转化方法、查询方法及装置。

背景技术

在信息时代，信息的存储、管理、查询、更新都非常重要。随着数据不断增多，数据库的存储量越来越大，每一次查询操作的时间会更长，总耗时不断增多。在实际应用场景中，数据的需求量都非常大，数据库通常需要应对实时的大规模并发查询，那么能否快速响应并返回并行计算结果，就显得尤为重要。

现有关系型数据库，如Oracle、DB2、MySQL、SQL SERVER，是采用行式存储法(Row-based)存储数据。在基于行式存储法存储数据的数据库中，数据是按照行数据为基础逻辑存储单元进行存储的，一行中的数据在存储介质中以连续存储形式存在，然后由数据库引擎根据每个查询提取需要的列。这种做法的缺点是必须每次处理一整行，而不是只处理自己需要的列。于此同时，行存储并不利于并行计算，会在需要处理大量数据的时候非常慢。

发明内容

本发明实施例提供了一种由行存储到列存储的格式转化方法、查询方法及装置，以实现存储格式转化，并便于数据库和硬件对接，从而提高硬件解析数据库的效率和速度。

为了达到上述目的，本发明采用以下方案实现：

根据本发明实施例的一个方面，提供了一种由行存储到列存储的格式转化方法，包括：

读取数据库结构体类型的行存储表数据，并将读取的所述行存储表数据存储至所述数据库结构体类型的表中；

从所述数据库结构体类型的表读取所述行存储表数据的表总数和各表表名；解析所述数据库结构体类型的表中的所述行存储表数据的各表，得到所述行存储表数据的各表的各列的列名和列数据类型；以及获取硬件解析所述数据库所需信息；

根据所述表总数、所述表名、所述列名、所述列数据类型及硬件解析所述数据库所需信息创建包含硬件解析所述数据库所需信息的设定列存储格式的列容器；

以行为单位从解析后的所述行存储表数据的各表读取数据，并将以行为单位读取的数据存储至所述列容器中，得到列存储表数据。

在一些实施例中，所述数据库结构体类型的表为User表。

在一些实施例中，解析所述数据库结构体类型的表中的所述行存储表数据的各表，包括：利用ODBC(Open Database Connectivity，开放数据库连接)中的函数解析所述数据库结构体类型的表中的所述行存储表数据的各表。

在一些实施例中，以行为单位从解析后的所述行存储表数据的各表读取数据，包括：利用ODBC中的next line函数以行为单位从解析后的所述行存储表数据的各表逐行读取数据。

在一些实施例中，所述硬件解析所述数据库所需信息包括总列数、写偏移量、读偏移量、各列列偏移量、各列总行数、及各列中各行数据长度。

在一些实施例中，所述硬件解析所述数据库所需信息还包括：各列列数据类型。

在一些实施例中，所述硬件解析所述数据库所需信息还包括：总字节数和各列总字节数。