[发明专利]用于获取、存储和消费大规模数据流的管理服务

权利要求书

1.一种用于管理数据流的方法，其包括：

由一个或多个计算装置执行：

针对包括多个数据记录序列的特定数据流，确定节点集合，所述节点集合可由一个或多个控制部件配置成基于包括流分区策略的一个或多个策略来执行流管理操作，所述流分区策略用于将包括所述多个数据记录序列的所述特定数据流分区成多个分区；

响应于经由一个或多个编程记录检索接口接收的数据检索请求，提供数据记录，其中所述一个或多个编程记录检索接口包括实现非顺序访问模式的第一检索接口以及实现顺序访问模式的第二检索接口，并且其中与使用所述第一检索接口相关联的计费率与使用所述第二检索接口相关联的计费率不同；以及

至少部分基于所述多个编程记录检索接口的相应使用计数度量，生成与所述特定数据流相关联的客户端计费量。

2.根据权利要求1所述的方法，其还包括由所述一个或多个计算装置执行：

根据所述分区策略，至少部分基于与所述特定数据流的特定数据记录相关联的键，将所述特定数据记录分配到所述特定数据流的第一分区，其中所述键由对应于所述特定数据记录的写入请求指示。

3.根据权利要求1所述的方法，其还包括由所述一个或多个计算装置执行：

至少部分基于特定数据记录被分配到的分区，选择下列项中的一个或多个：(a)负责接受所述特定数据记录的记录摄取子系统的特定节点，(b)负责存储所述特定数据记录的至少一个复本的记录存储子系统的特定节点，以及(c)负责响应于读取请求而从所述记录存储子系统获取所述特定数据记录的检索子系统的特定节点。

4.根据权利要求1所述的方法，其还包括由所述一个或多个计算装置执行：

接收经由一个或多个编程记录提交接口提交的数据记录，其中所述一个或多个编程记录提交接口包括支持数据记录的串联提交的第一提交接口以及使得能够通过引用下列中的一个来提交数据记录的第二提交接口：(a)提供者网络实施的存储服务处的对象地址，(b)通用记录定位符，(c)数据库记录。

5.根据权利要求1所述的方法，其还包括由所述一个或多个计算装置执行：

至少部分基于下列项中的一个，从数据存储子系统的特定节点移除特定数据记录：(a)针对所述特定数据流配置的数据去除重复窗口，(b)与所述特定数据流相关联的数据存档策略，(c)客户端指明的数据保留策略，(d)移除所述特定数据记录的客户端请求，或者(e)所述特定数据记录已被一个或多个数据消费者处理的指示。

6.根据权利要求1所述的方法，其中针对所述特定数据流配置的(a)记录摄取子系统、(b)记录存储子系统或(c)记录检索子系统中的至少一个子系统包括被所述一个或多个控制部件配置成冗余组的成员的多个节点，其中所述冗余组包括：(a)被分配来对所述流的数据记录的集合执行操作的一个或多个主节点，以及(b)被配置成响应于一个或多个触发事件而承担主节点角色的一个或多个非主节点。

7.根据权利要求6所述的方法，其中在特定数据中心处将所述一个或多个主节点中的特定主节点实例化，并且其中在不同的数据中心处将所述一个或多个非主节点中的特定非主节点实例化。

8.根据权利要求6所述的方法，其还包括由所述一个或多个计算装置执行：

检测所述一个或多个触发事件中的触发事件；以及

通知所述一个或多个非主节点中的特定非主节点来承担所述主节点角色。

9.根据权利要求1所述的方法，其中所述一个或多个控制部件包括被配置成冗余组的多个控制节点，包括：主控制节点，其被配置成响应对包括所述特定数据流的一个或多个数据流进行控制平面操作的请求；以及至少一个非主控制节点，其被配置成响应于一个或多个触发事件而承担主节点角色。