[发明专利]用于数据编码及处理列数据的系统和方法

说明书

技术领域

本发明涉及以页格式压缩和存储多个数据元素。更具体地，本发明涉及组织页格式(包括数据元素的索引化)的方式，使得存储的数据元素可以被访问。

背景技术

数据压缩是把信息从第一表示变换成第二表示的处理，其中第二表示比第一表示(也被称为原始表示)更小。压缩数据可以被解压缩，由此原始数据或接近原始数据的近似可以得到恢复。压缩和解压缩处理经常被称为编码和解码。数据压缩在数据存储和数据传送领域具有重要的应用。除了空间节省以外，关注的其他参数包括编码和解码速度及工作空间需求，访问和解码部分文件的能力，以及错误产生和传播。

发明内容

本发明包括方法、系统和计算机程序产品，用于压缩和存储数据元素以及访问存储的元素。

提供了方法和计算机程序产品，用于以页格式存储压缩数据并访问存储的数据元素。列数据的页以具有多个阵列和一向量的格式被压缩和存储。更具体地，页中的第一阵列存储具有第一共同特性的压缩数据，并且页中的第二阵列存储具有第二共同特性的压缩数据。第一和第二共同特性不相同。存储的数据被索引化(indexed)到向量中，其中索引包括存储在第一和第二阵列中的数据元素的映射。对存储的数据元素的访问会采用所述向量来确定对应的偏移和该数据被存储于其中的阵列。

根据结合附图给出的本发明的当前优选实施例的以下详细说明，本发明的其他特征和优点将变得明显。

附图说明

本文中引用的附图形成说明书的一部分。在附图中示出的特征仅用于说明本发明的一些实施例，而并非本发明的所有实施例，除非有明确的相反指示。

图1描绘用于数据编码的页格式，其具有复合的处理益处。

图2描绘示出用于加载列数据的处理的流程图。

图3描绘示出页格式内的累积直方图的框图。

图4描绘示出用于利用累积直方图以及元组映射进行数据访问的处理的流程图。

图5描绘示出嵌入计算机系统中以支持数据编码和处理的工具的框图。

图6描绘根据本发明的实施例的计算环境的框图。

具体实施方式

容易理解的是，通常在本文的附图中描述和示出的本发明的部件可以以各种各样的不同配置来布置和设计。因此，在附图中表示的本发明的装置、系统和方法的实施例的以下详细说明是并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的所选择的实施例。

贯穿该说明书对“选择实施例”、“一个实施例”或“实施例”的提及意味着结合实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此，贯穿该说明书的各种地方的措辞“选择实施例”、“在一个实施例中”或“在实施例中”的出现并不一定指代相同的实施例。

本发明的所示的实施例将参考附图而得到最佳的理解，其中同样的部分始终由同样的附图标记指示。以下描述旨在仅是举例，并且仅示出与本文中要求保护的发明一致的设备、系统和处理的特定选择的实施例。

保序的基于频率的字典压缩被用来对压缩值执行SQL操作。在一个实施例中，压缩值以密集的位对准的方式打包，使得多个值装配在寄存器中并且可以经由单指令多数据(SIMD)被同时处理。

数据库表格的列被划分成列组。在一个实施例中，每个列仅属于一个列组。在通常被称为列存储(column store)的选择实施例中，每个列组包含单个列。列组数据以页存储，所述页可以是固定的或可变的。行/元组到列组的投影被称为小元组(tuplet)。元组以跨越所有列组的相同顺序存储；元组通过本文中被称为元组序列号(TSN)的虚拟标识符来识别，所述元组序列号是可以用来定位给定元组的整数。在一个实施例中，页包含单个范围的TSN。