[发明专利]用于获取、存储和消费大规模数据流的管理服务

说明书

一种多租户流管理服务的控制节点接收将数据流初始化的请求，所述数据流包括多个数据记录。基于分区策略，所述控制节点确定将用于配置子系统的参数，以便摄取、存储和检索所述记录。所述控制节点识别将用于检索子系统的节点的资源。所述检索节点被配置成实施编程记录检索接口，包括实施非顺序和顺序访问模式的相应接口。所述控制节点使用选择的资源来配置所述检索节点。

背景技术

随着近年来数据存储的成本下降，并且随着将计算基础设施的各种元件互连的能力提高，有可能收集并分析涉及广泛多种应用的越来越多的数据。例如，移动电话可以生成指示其位置、电话用户使用的应用等等的数据，其中的至少一些数据可以收集和分析，以便将定制化赠券、广告等呈现给用户。对监控摄像机收集的数据进行分析可用于防止和/或处理犯罪案件，并且从嵌入在飞机发动机、汽车或复杂机械内的各个位置的传感器收集的数据可用于各种目的，例如，预防性维护、提高效率以及降低成本。

流数据量的增加伴随(并且在一些情况下，可能伴随)商用硬件的使用增加。在为许多类型的应用管理大规模计算资源方面，用于商用硬件的虚拟化技术的出现提供益处，从而允许各种计算资源被多个客户有效且安全地共享。例如，通过为每个用户提供由单个物理计算机托管的一个或多个虚拟机，虚拟化技术可允许在多个用户之间共享单个物理计算机，其中每个这样的虚拟机都是充当不同逻辑计算系统的软件模拟，从而使用户产生他们是给定硬件计算资源的唯一操作员和管理员的错觉，同时还在各个虚拟机之间提供应用隔离和安全保证。此外，一些虚拟化技术能够提供跨两个或更多物理资源的虚拟资源，例如，单个虚拟机具有跨多个不同物理计算系统的多个虚拟处理器。除了计算平台之外，一些大组织还提供使用虚拟化技术建立的各种类型的存储服务。使用这种存储服务，可以在所需的耐用性水平存储大量的数据。

尽管可用相对低的成本从各种提供者得到虚拟化计算和/或存储资源，然而，由于许多原因，对大型动态波动数据流的收集、存储和处理进行管理和协调仍然是具有挑战性的课题。随着更多的资源被添加到为处理大型数据流而设立的系统，例如，系统的不同部分之间可能会出现工作负载不平衡。如果不加以解决，除了没有充分利用(且因此浪费)其他资源之外，这种不平衡会导致某些资源出现严重的性能问题。如果此类数据或结果存储在客户端无法控制的设施处，客户端还可能关心流数据的安全性或者分析流数据的结果。随着分布式系统的大小增长，出现故障的频率自然也会增加(例如，偶尔失去连接和/或出现硬件故障)，这些故障也必须被有效解决，以防止流数据收集、存储或分析出现中断而增加成本。

附图说明

图1提供根据至少一些实施方案的数据流概念的简单概述。

图2提供根据至少一些实施方案的流管理系统(SMS)和流处理系统(SPS)的各个子部件之间的数据流动的概述，所述SPS包括流处理阶段的集合。

图3示出根据至少一些实施方案的可以在SMS和SPS处实施的编程接口的相应集合的实例。

图4示出根据至少一些实施方案的示例性基于web的接口，所述接口可以被实施以使得SPS客户端能够生成流处理阶段的图形。

图5示出根据至少一些实施方案的可以在SMS处实施的编程记录提交接口和记录检索接口的实例。

图6示出根据至少一些实施方案的SMS的摄取子系统的示例性元件。

图7示出根据至少一些实施方案的SMS的存储子系统的示例性元件。

图8示出根据至少一些实施方案的SMS的检索子系统的示例性元件，以及检索子系统与SPS交互的实例。

图9示出根据至少一些实施方案的冗余组的实例，所述冗余组可以针对SMS或SPS的节点而设立。

图10示出根据至少一些实施方案的提供者网络环境，其中给定冗余组的节点可以分布在多个数据中心之间。

图11示出根据至少一些实施方案的多个放置目的地，所述放置目的地可以被选择用于SMS或SPS的节点。