[发明专利]用于可扩展的结构化数据分布的系统和方法

说明书

相关申请交叉引用

本申请要求2012年4月13日提交的美国临时申请61/623,877的优先权，其出于所有目的通过引用被整体合并于此。

技术领域

本申请的技术的各种实施例通常涉及数据传送。更具体而言，本申请的技术的一些实施例涉及用于可扩展的结构化数据分布的系统和方法。

背景技术

各个行业存在日益增长的监管和竞争压力，以提高报告的数据的质量、一致性和可用性。存储和处理需求从多个维度日益增加，诸如粒度、在线历史、冗余和用于将数据的新组合结合起来的收集。此外，日内版本化对于管理具有不同时间需求的部门之间的差异而言将是必然趋势，因为数据在公司内的部门之间越来越多的被共享。部门也已经开始寻求方法，以能够使他们从批量处理变为增量的实时和流数据管理。

尽管对高效和一致的数据管理的需求不断增长，许多大公司都将失败的ACID(原子性，一致性，隔离性和持久性)架构更换为可扩展的BASE架构。查看和分析大至庞大的数据集的解决方案逐渐变得司空见惯，因为这些公司发布其云扩展系统的内容以开源。尽管超大规模的分析引擎逐渐变得司空见惯，管理数据集移动的工具并没有跟上。大公司都在争相保护自己免受日益增加的储运损耗的可能性，因为他们缺乏管理大型数据流的可用性的方法。

许多其它公司面临着同样的无法复制不断增长的数据集。ACID架构是昂贵的、复杂的，并且无法确保数据跨越空间和时间的一致性和可用性(例如，部门数据共享和鉴证)。对这些不断增长的数据集的可用性、一致性，以及管理的更高的标准将始终被设置。

概述

用于可扩展的结构化数据分布的系统和方法被描述。在一些实施例中，方法可包括从数据发生器接收流原始数据。这些数据可以基于归档策略被捆绑成数据包(即，束)。在某些情况下，任何与流数据相关联的元数据被利用于高效的策略驱动路由。该元数据可以可能递归地在一个或多个通道上(例如，控制通道)被发布。可通过使用由主时钟产生的一系列连续的整数对每个数据包排序。然后该数据包可以被归档和传递(例如，平行地)至已订阅该数据发生器的用户。该数据包可以基于排序被重放，所述排序通过基于来自数据用户的请求的连续的整数被识别。

本发明的实施例还包括包含指令集合的计算机可读存储介质，以引起一个或多个处理器执行本文所描述的方法、该方法的变体，以及其它操作。

一些实施例包括系统，其包括捆绑器、转换器、流时钟和归档服务。捆绑器可以被配置为从数据发生器接收流原始数据，且通过将每个数据包与具有单调增加的顺序的唯一的标识符关联将该原始数据捆绑为一系列数据包。转换器可以接收该数据包(例如，从归档)并生成可加载的数据结构用于与数据订阅者关联的报告存储。加载器可以基于逻辑排序接收并存储该可加载的数据结构至与该数据订阅者关联的存储设备。

一些实施例可包括主时钟，其被配置为生成序列逻辑的整数，每个都与在业务对齐的、策略驱动(声明的)的系列的数据包中的单个数据包关联。在各种实施例中，该系统可以包括数据通道，其允许来自数据发生器的数据连续流至数据订阅者。此外，消息通道可以被用于提供通过数据分布系统连续地从数据发生器流至数据订阅者的数据的当前的状态。控制通道与数据通道分离以允许数据订阅者请求对数据的重放也可以被用于一些实施例中。

尽管多个实施例中公开了，本发明的其它实施例从下面详细描述中对于本领域技术人员而言仍将变得显而易见，其示出并描述了本发明的示例性实施例。如将要认识到，本发明能够在各个方面进行修改，所有这些都不脱离本发明的精神和范围。因此，附图和详细描述应被视为示例性的而非限制性的。

附图说明

本发明的实施例将通过使用附图被描述和解释，其中：

图1所示是本技术的一些实施例可以被利用的环境的示例；

图2所示是根据技术的一个或多个实施例的数据分布系统的操作的阶段；

图3所示是根据本技术的各种实施例的用于捆绑数据的一组操作的流程图；

图4所示是根据本技术的一些实施例的用于处理数据流的一组操作的流程图；

图5所示是根据本技术的一个或多个实施例的数据分布系统的一组组件；

图6所示是根据本技术的各种实施例的用于传送数据的一组操作的流程图；

图7所示是可以被用在本技术的一个或多个实施例中的数据分布系统架构的概述；

图8所示是本发明的实施例可以利用的计算机系统的示例；