[发明专利]记录的列状存储表示

说明书

计算机系统访问数据记录的集合。该集合中的每个记录包括多个数据值以及从该多个数据值标识出相对应数据值的语义的多个数据元素。一个或多个数据记录中的每个包括相同数据元素的多个实例，并且包括对应于该相同数据元素的多个实例的数据值。该计算机系统生成列状条带的集合。该列状条带集合包括来自数据记录集合中的每个数据记录的数据值。该列状条带集合中的每个列状条带包括对应于来自记录集合中的每个记录的具体数据元素的所有数据值。

本申请是国际申请号为PCT/US2011/031123、国际申请日为2011年04月04日、进入中国国家阶段日期为2012年10月29日、国家申请号为201180021717.9、发明名称为“记录的列状存储表示”的发明专利申请的分案申请。

相关申请的交叉引用

本申请要求于2010年4月5日提交的第61/321106号美国临时申请和于2010年4月7日提交的第61/321688号美国临时申请的权益。

技术领域

本文档总体上描述了用于生成并处理记录的列状存储表示的技术、方法、系统和机制。

背景技术

本公开总体上涉及大规模分析数据处理。这样的数据处理在网络公司中且跨产业已经变得非常普遍，尤其是由于使得能够采集大量商业关键数据的低成本存储。将该数据放在分析师和引擎的指尖已经显得越来越重要；交互响应时间经常在数据探测、监视、在线消费者支持、快速成形、数据管线调试和其它任务中形成质量差异。按规模执行交互式数据分析要求高度并行、例如，使用当今的商品磁盘在一秒钟内读取一兆兆字节的压缩数据将需要数万个磁盘。类似地，CPU密集查询可能需要在数千个核上运行以在数秒之内完成。

发明内容

这里公开了一种用于数据分析的可扩展、交互式ad-hoc查询系统。通过将多级执行树与列状逐句布局相结合，所描述的系统和方法能够运行诸如整合查询之类的快速且高效的查询。描述了用于嵌套记录的列状存储表示，所述嵌套记录是可以在许多网络规模和科学数据集中使用的流行数据模型。依据一个实施例，记录被分解为列条带，每个列被编码为块的集合，每个块包含字段值以及重复和定义级别信息。级别信息使用字段写入器(writer)的树生成，其结构与记录模式中的字段层级相匹配。可以有效地使用有限状态机从列状数据组成记录，该有限状态机读取字段数据以及每个字段的级别信息并且将值顺序附加至输出记录。如果仅字段的子集需要被获取，则能够构造其执行更为廉价更为简单的有限状态机。此外通过利用列状存储表示存储诸如约束信息之类的附加元数据，能够支持附加类型的查询。

多级服务树被用来执行查询。在一个实施例中，根服务器接收传入的查询，从表读取元数据，并且将该查询路由至服务树中的下一级别。叶服务器与存储层进行通信并且访问本地存储上的数据，其中所存储的数据能够被复制，并且读取列状表示中嵌套数据的条带。每个服务器可以具有对应于物理查询执行计划的内部执行树，其包括对输入列进行扫描并且发出利用级别信息进行注释的聚集和标量函数的结果的迭代器集合。在另一个实施例中，提供查询分派器，其基于查询的属性对它们进行调度并且平衡负载。查询分派器在一个服务器变得明显比其它服务器更慢或者当副本(replica)变为无法访问时提供容错。查询分派器能够计算叶服务器上的执行线程的处理时间的直方图并且当处理时间占用不成比例的时间量时重新调度至另一个服务器。

可以就地对列状数据进行查询。将列状数据在普通存储层上维护并且提供机制以对来自列状数据的记录进行整合支持对记录结构的数据进行分析的数据管理工具的可操作性。该系统可以为数个处理器的规模并且能够快速读取大量数据。在某些实例中，特定实施例能够被实施为实现以下的一种或多种优势。嵌套数据可以在原地进行操作，以使得数据可以被访问而并不利用数据库管理系统加载该数据。可以以比其它分析程序所需的时间有所减少的执行时间来执行嵌套数据的查询。在普通存储层上实现的列状存储数据结构使得多个不同分析程序能够访问该列状存储数据结构。