[发明专利]一种数据存储格式的转换方法及装置

说明书

本发明的实施例提供一种数据存储格式的转换方法及装置，涉及数据库系统技术领域，能够使得数据库系统动态确定底层存储格式，实现系统自动调节优化功能。该方法包括：若以第一存储格式存储数据的数据库的系统性能指标满足用户设定的转换条件，则确定数据库中存储数据所需的第二存储格式；将数据的存储格式从第一存储格式转换为第二存储格式；判断存储格式转换后的数据库的压缩比是否满足第一预设条件，并对数据库中的数据进行排序，测试排序时间是否满足第二预设条件；若压缩比满足第一预设条件，且排序时间满足第二预设条件，则进行对外服务；或者，若压缩比不满足第一预设条件，和/或排序时间不满足第二预设条件，则重新确定第二存储格式。

技术领域

本发明涉及数据库系统技术领域，尤其涉及一种数据存储格式的转换方法及装置。

背景技术

随着社会信息化程度的不断加深，数据库系统的使用越来越广泛，不断累积的海量数据和不断增长的数据膨胀对数据库系统提出了新的要求。

在数据库中存储的数据具有一定的存储格式，不同的存储格式能够影响数据库系统的性能。行存储结构能够快速完成数据加载，对动态负载的适应较高，但行存储结构不能支持快速查询处理，同时空间利用率也不易大幅提高。尽管通过熵编码和利用列相关性能够获得一个较好的压缩比，但是复杂数据存储实现会导致解压开销增大。列存储结构则将同一个记录的不同域分散存储而这些记录的重构将带来较大开销，但是列存储能够避免读不必要的列，并且压缩一个列中的相似数据能够达到较高的压缩比。

目前，综合行存储、列存储的优缺点，产生了各种行列组合存储方式，如PAX或者行列混合存储(RCFile，Record Columnar File)这些存储方式通过对底层存储格式的优化，使系统性能更加优化。

然而，现有的数据库的行、列或者行列混合存储格式都是完全依赖于数据库初始化时的初始设定，即用户在创建数据库时所指定的数据库底层存储格式。当用户需要更改数据库存储格式时，需要数据库管理员(DBA，Database Administrator)手动离线修改。

发明内容

本发明的实施例提供一种数据存储格式的转换方法及装置，能够使得数据库系统根据负载情况，动态确定数据库底层存储格式，实现了系统自动调节优化功能，降低查询语句的吞吐量，同时提升系统的存储空间和利用率。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，本发明实施例提供一种控制器，包括：

决策单元，用于若以第一存储格式存储数据的数据库的系统性能指标满足用户设定的转换条件，则确定所述数据库中存储数据所需的第二存储格式；

存储格式转换单元，用于将所述数据库中的数据的存储格式从所述第一存储格式转换为所述第二存储格式；

反馈单元，用于判断存储格式转换后的数据库的压缩比是否满足第一预设条件，并对所述存储格式转换后的数据库中的数据进行排序，测试排序时间是否满足第二预设条件；若所述压缩比满足第一预设条件，且所述排序时间满足第二预设条件，则进行对外服务，或者，若所述压缩比不满足第一预设条件，和/或所述排序时间不满足第二预设条件，则发送反馈信息至所述决策单元，以使得所述决策单元根据所述反馈信息中的用户待设定的核心指标阈值重新确定所述数据库中存储数据所需的第二存储格式。

在第一方面的第一种可能实现方式中，所述方法还包括：

所述决策单元，还用于在确定所述数据库中存储数据所需的第二存储格式之前，判断所述系统性能指标是否满足用户设定的核心指标阈值；若所述系统性能指标满足所述核心指标阈值，则判断所述系统性能指标是否满足所述转换条件。

结合第一方面的第一种可能实现方式，在第一方面的第二种可能的实现方式中，所述决策单元，还用于若所述系统性能指标不满足所述转换条件，则保持所述数据库中存储数据的格式为所述第一存储格式。