[发明专利]一种压缩敏感的数据库文件存储方法及系统

说明书

本发明公开了一种压缩敏感的数据库文件存储方法及系统，存储方法包括以下步骤：步骤一、统计数据库数据在行方向和列方向数据的重复度；步骤二、选择重复度高的方向进行数据存储。存储系统包括：重复度统计模块，用于统计数据库数据在行方向和列方向数据的重复度；以及存储方向选择及存储模块，用于选择重复度高的方向进行数据存储。本发明能够提高数据库文件的数据压缩比，降低数据存储空间。

技术领域

本发明属于计算机数据库领域，具体涉及一种压缩敏感的数据库文件存储方法及系统。

背景技术

物联网技术背景下众多设备产生的海量数据存储为数据库系统造成了巨大压力，如何有效存储这些数据是计算机数据库领域一直研究的问题。海量的数据存储对数据的存储设备容量提出了极高的要求，为了减少数据存储空间，现有数据库开始采用数据无损压缩技术对数据进行压缩以减少数据存储空间。在ORC(Optimized Row Columnar)文件存储格式中，通常采用列优先的方式对数据进行存储。列存储的基本思想是由于同一个字段的数据类型相同，因而出现重复数据的概率更大，更有利于压缩。但是在物联网背景下，数据库中存储的字段类型绝大多数为整型数据或者浮点型数据，采用列式存储不一定能够提高数据重复的概率。物联网背景下，数据库中各个字段的数据之间存在较大的关联性，例如办公区环境监测应用中，在非工作时间，绝大多数传感器的数据都处于平稳状态；而在工作时间，传感器数据开始变化。在这种情况下，数据行之间的重复率会增大，行优先存储反而更加有利于压缩。

发明内容

本发明目的在于针对上述现有技术中海量数据存储占用存储空间较多的问题，提供一种压缩敏感的数据库文件存储方法及系统，提高数据库文件的数据压缩比，降低数据存储空间。

为了实现上述目的，本发明有如下的技术方案：

一种压缩敏感的数据库文件存储方法，包括以下步骤：

步骤一、统计数据库数据在行方向和列方向数据的重复度；

步骤二、选择重复度高的方向进行数据存储。

作为本发明数据库文件存储方法的一种优选方案，步骤一将待存储的数据按照行列在内存中构成二维矩阵，按照预定义的块大小从左到右、从上到下进行切块。

作为本发明数据库文件存储方法的一种优选方案，每一个块内数据按照行优先遍历一次，统计行数据变化次数，如果上一个数与当前数不同，则变化次数加一。

作为本发明数据库文件存储方法的一种优选方案，每一个块内数据按照列优先遍历一次，统计列数据变化次数，如果上一个数与当前数不同，则变化次数加一。

作为本发明数据库文件存储方法的一种优选方案，步骤二对比行数据变化次数和列数据变化次数，如果行数据变化次数少，则按照行优先的方式对数据进行存储；如果列数据变化次数少，则按照列优先的方式对数据进行存储。

作为本发明数据库文件存储方法的一种优选方案，动态统计数据库数据在行方向和列方向数据的重复度，并且动态选择重复度高的方向进行数据存储。

本发明还提供一种压缩敏感的数据库文件存储系统，包括：

重复度统计模块，用于统计数据库数据在行方向和列方向数据的重复度；

存储方向选择及存储模块，用于选择重复度高的方向进行数据存储。

相较于现有技术，本发明具有如下的有益效果：通过统计数据库存入数据的行方向的重复度和列方向的重复度，选择重复度高的方向存储数据库数据，使数据在后续压缩过程中压缩比更高，使得所存储数据更有利于后续压缩，从而提高数据库文件的数据压缩比，降低数据存储空间。与ORC比较，本发明压缩敏感的数据库文件存储方法压缩比更高。

附图说明

图1实施例1行存储更有利于压缩的对比示意图；