[发明专利]数据处理设备及其数据处理方法

说明书

技术领域

本发明涉及数据库技术，特别涉及一种用于关系数据库的数据处理设备及其数据处理方法。

背景技术

在20世纪70年代即已引入的关系数据库管理系统(DBMS或“关系模型”)是已知的现有数据库管理系统的基础，其通过形式代数及相关联的结构查询语言(“SQL”)的描述查询语言实现各种表中数据的交互。

通常RDBMS根据表中的关系存储模式存储数据，每个表在(例如盘、主存储器或其它存储器等的)数据存储机构中按页被存储为行的序列集合。许多系统进一步还创建作为额外数据结构的索引，以实现对特定一行或多行进行快速的随机访问。

SQL查询使用在两类数据库交互应用中，即OLTP(联机事务处理)和OLAP(联机分析处理)。OLTP应用处理联机事务处理，使用传统的行存储方案，与OLTP事务相关的信息能被有效添加到关系数据库的单个表或者从单个表进行检索。在OLAP情形下，对于具有简单关系的小型数据库，则行存储方案还可以以合理的效率响应针对信息的OLAP应用请求；但是在复杂的数据库查询中OLAP应用涉及从包含许多行的表内的仅几列搜索、检索到整合数据，如果仍使用行存储方案则还须针对无需扫描的任意维度或者没有预先计算的任何聚合对每个表进行全面扫描，结果导致行存储方案在OLAP应用下I/O效率非常低下。

发明内容

由于I/O效率对于商业数据库管理系统(DBMS)的性能起着非常重要的作用，本发明的目的是提供一种新颖的数据库管理系统及其数据处理方法，可以在传统的行存储模型基础上提高例如在OLAP应用环境下的I/O效率。

具体地，考虑到列存储DBMS易于实现高I/O效率和高压缩比、适于OLAP应用场景等优点，本发明致力于在应用更加广泛的行存储DBMS中引入列存储方案的优点，提出如下的改进方案。

根据本发明的一个方面，一种用于关系数据库的数据处理方法，包括：

选定所述关系数据库的至少一个表；

将所述选定的至少一个表的每一个按列分割成两个以上的子表，其中至少一个子表包括至少两列；以及，

分别将所述子表写成相应的行存储数据库的表。

相应地，一种用于关系数据库的数据处理设备，包括：

选定装置，被配置成选定所述关系数据库的至少一个表；

分割装置，被配置成将所述选定的至少一个表的每一个按列分割成两个以上的子表，其中至少一个子表包括至少两列；以及，

写入装置，被配置成将所述子表分别写成相应的行存储数据库的表。

相比现有技术中传统行存储模型(N阵列存储模型或简称NSM)，本发明的技术方案综合了行存储与列存储的特点，可以容易地在行存储DBMS(如DB2)中运行；并且，在传统的行存储模型的基础上仅作了编译和执行层面的修改即可提高OLAP环境下的I/O效率，为OLAP提供更好的工作负载，具体地，

1)当为了所有列中特别小的子集而却需要对许多行进行聚合计算时，只对列的子集进行读取能够显著节约I/O工作量。

2)改进缓存命中率以进一步提高内存中页的使用率。

3)对于只部分聚集在列级别或者一组列内的数据实现更高的数据压缩率。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。在附图中，相同的或对应的技术特征或部件将采用相同或对应的附图标记来表示。

图1是示出可实现本发明的数据处理系统的框图。

图2示出根据本发明一个实施例的方法的流程图。

图3示出了根据本发明另一实施例的存储模型示意图。

图4是根据本发明再一实施例的存储模型示意图。

图5示出了作为数据库管理系统一部分的用于关系数据库的数据处理设备。

图6示出了实现用于数据查询及数据操作的数据库管理系统部分的典型配置的功能框图。

具体实施方式

下面参照附图来说明本发明的实施例。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

系统体系

现在参考附图，特别是图1，描述了可实现本发明的数据处理系统的框图。数据处理系统100是可实现本发明的计算机网络。数据处理系统100包含网络102，网络102是用于在不同的设备和数据处理系统100内连接到一起的计算机之间提供通信链接的媒介。