[发明专利]储存和检索数据立方体中的数据

说明书

这里描述了一种用于将数据立方体中的数据储存在一个或多个平面文件中的技术。这里还描述了一种处理用以访问数据立方体中的数据的查询的技术。这些技术可以以多种方式实现，包括被实现作为计算机可读存储装置上所储存的方法、系统和/或计算机程序产品。这些技术其中之一包括：接收具有至少两个维度的数据记录的集合；生成按基数定序的分组数据记录的集合；以及生成并储存包含所述分组数据记录的集合的至少一个平面文件，其中，所述分组数据记录中的特定数据记录包括能够用于响应于请求而识别所述特定数据记录中的数据的主键。

技术领域

本申请涉及用于储存和检索数据立方体(data cube)中的数据(例如，高速数据处理和网络通信中所应用)的数据结构和方法。

背景技术

数据立方体是具有多个维度的数据的集合。维度是关注的属性。因此，数据立方体中所储存的数据可以具有针对这些属性中的一个或多个属性的值。

发明内容

这里描述了一种用于将数据立方体中的数据储存在一个或多个平面文件中的技术。数据立方体是可以基于适用于多个维度的标准来查询的数据的集合。数据立方体可以是数据值的二维、三维或更高维阵列。平面文件是诸如数据记录等的数据的集合，其中这些数据记录之间没有结构化关系。所述文件是平面的，这意味着该文件可能不具有用于索引的结构。平面文件可以例如是纯文本文件或二进制文件。所述平面文件可以储存在有形、非暂时性计算机可读介质中。所述技术包括：接收数据记录的集合，所述数据记录的集合具有至少两个维度，所述数据记录中的至少一些数据记录各自包括针对所述至少两个维度中的各维度的相应数据值；生成按基数定序的分组数据记录的集合，所述生成包括：根据所述至少两个维度中的第一维度的数据值将所述数据记录分组为子集，其中所述第一维度具有与针对第二维度的可能数据值的数量相比较少的可能数据值，根据所述第一维度的数据值并且根据排序标准来对所述分组数据记录的子集进行排列，以及根据所述至少两个维度中的所述第二维度的数据值来对所述分组数据记录的子集中的数据记录进行排列，使得所述分组数据记录的各个相应子集中的数据记录按所述第二维度的值进行排序；以及生成并储存包含所述分组数据记录的集合的至少一个平面文件；其中，所述分组数据记录中的特定数据记录包括能够用于响应于请求而识别所述特定数据记录中的数据的主键。

这里还描述了一种处理用以访问数据立方体中的数据的查询的技术。所述数据可以储存在有形的非暂时性计算机可读介质中。所述技术包括：接收查询；基于所述查询来识别储存数据记录的数据立方体；计算针对所述查询的至少一个细节掩码，所述细节掩码包括一个或多个细节级别的表示，各细节级别与所述数据记录的维度的层级相对应，其中，所述至少两个维度中的第一维度具有与针对第二维度的可能数据值的数量相比较少的可能数据值；以及使用所计算出的细节掩码以响应于所述查询而从关系数据库以外的系统检索一个或多个数据记录。

这些技术可以以多种方式实现，包括被实现作为计算机可读存储装置上所储存的方法、系统和/或计算机程序产品。

这些技术的各方面可以包括以下优点中的一个或多个。数据立方体中所储存的数据可以以如下的方式来访问，其中该方式使速度最大化并且使所需的处理能力的量最小化，特别有益于高速网络通信。例如，可以使用索引压缩平面文件(ICFF)来储存数据立方体中的数据。由于数据在被写入ICFF之后未被修改，因此可以在不使用锁定技术的情况下从ICFF读取数据。此外，由于数据在被写入ICFF之后未被修改，因此可以容易地识别旧数据，并且在出于其它目的而需要旧数据所使用的资源(例如，存储空间)的情况下丢弃该旧数据。此外，由于ICFF中的数据可以直接从数据文件中读取，因此与需要由诸如关系数据库管理系统等的中间系统执行的读取命令的技术相比，可以潜在地更快速地读取ICFF中的数据。此外，由于ICFF中的数据通常被压缩，因此与使用其它技术所储存的数据相比，ICFF中的数据可以使用较少的存储空间。此外，可以通过以特定方式对数据进行分组来使对ICFF进行的读取操作的数量最小化。

附图说明

图1A～1D示出数据立方体的图形表示。

图2示出记录存储和检索系统。