[发明专利]用于可扩展的结构化数据分布的系统和方法

说明书

提供用于有效地吸收、归档和分布任何规模的数据集的系统和方法。一些实施例通过实时流以及过去的数据重放提供了灵活的、基于策略大容量数据的分布。此外，一些实施例通过先进的版本特征提供了可靠和清晰的跨任何供应商系统的一致性。这种一致性对金融行业是特别有价值的，但对于任何管理多个数据分布点用于改进和可靠的数据可用性的公司也特别有用。

本申请是申请日为2013年4月15日，发明名称为“用于可扩展的结构化数据分布的系统和方法”的第201380031492.4号中国发明专利申请的分案申请，该中国发明专利申请基于国际申请PCT/US2013/036652,并且要求2012年4月13日提交的美国临时申请61/623,877的优先权，该临时申请通过引用被整体合并于此。

技术领域

本申请的技术的各种实施例通常涉及数据传送。更具体而言，本申请的技术的一些实施例涉及用于可扩展的结构化数据分布的系统和方法。

背景技术

各个行业存在日益增长的监管和竞争压力，以提高报告的数据的质量、一致性和可用性。存储和处理需求从多个维度日益增加，诸如粒度、在线历史、冗余和用于将数据的新组合结合起来的收集。此外，日内版本化对于管理具有不同时间需求的部门之间的差异而言将是必然趋势，因为数据在公司内的部门之间越来越多的被共享。部门也已经开始寻求方法，以能够使他们从批量处理变为增量的实时和流数据管理。

尽管对高效和一致的数据管理的需求不断增长，许多大公司都将失败的ACID(原子性，一致性，隔离性和持久性)架构更换为可扩展的BASE架构。查看和分析大至庞大的数据集的解决方案逐渐变得司空见惯，因为这些公司发布其云扩展系统的内容以开源。尽管超大规模的分析引擎逐渐变得司空见惯，管理数据集移动的工具并没有跟上。大公司都在争相保护自己免受日益增加的储运损耗的可能性，因为他们缺乏管理大型数据流的可用性的方法。

许多其它公司面临着同样的无法复制不断增长的数据集。ACID架构是昂贵的、复杂的，并且无法确保数据跨越空间和时间的一致性和可用性(例如，部门数据共享和鉴证)。对这些不断增长的数据集的可用性、一致性，以及管理的更高的标准将始终被设置。

发明内容

用于可扩展的结构化数据分布的系统和方法被描述。在一些实施例中，方法可包括从数据发生器接收流原始数据。这些数据可以基于归档策略被捆绑成数据包(即，束)。在某些情况下，任何与流数据相关联的元数据被利用于高效的策略驱动路由。该元数据可以可能递归地在一个或多个通道上(例如，控制通道)被发布。可通过使用由主时钟产生的一系列连续的整数对每个数据包排序。然后该数据包可以被归档和传递(例如，平行地)至已订阅该数据发生器的用户。该数据包可以基于排序被重放，所述排序通过基于来自数据用户的请求的连续的整数被识别。

本发明的实施例还包括包含指令集合的计算机可读存储介质，以引起一个或多个处理器执行本文所描述的方法、该方法的变体，以及其它操作。

一些实施例包括系统，其包括捆绑器、转换器、流时钟和归档服务。捆绑器可以被配置为从数据发生器接收流原始数据，且通过将每个数据包与具有单调增加的顺序的唯一的标识符关联将该原始数据捆绑为一系列数据包。转换器可以接收该数据包(例如，从归档)并生成可加载的数据结构用于与数据订阅者关联的报告存储。加载器可以基于逻辑排序接收并存储该可加载的数据结构至与该数据订阅者关联的存储设备。

一些实施例可包括主时钟，其被配置为生成序列逻辑的整数，每个都与在业务对齐的、策略驱动(声明的)的系列的数据包中的单个数据包关联。在各种实施例中，该系统可以包括数据通道，其允许来自数据发生器的数据连续流至数据订阅者。此外，消息通道可以被用于提供通过数据分布系统连续地从数据发生器流至数据订阅者的数据的当前的状态。控制通道与数据通道分离以允许数据订阅者请求对数据的重放也可以被用于一些实施例中。