[发明专利]用于可扩展的结构化数据分布的系统和方法

权利要求书

1.一种用于可扩展的结构化数据分布的方法包括：

通过可编程电路从数据发生器接收流数据；

通过可编程电路根据一组捆绑参数将所述流数据捆绑成数据包；

通过可编程电路识别与所述数据包关联的元数据；

通过可编程电路将具有关联的元数据的所述数据包归档在存储器中；

归档同时，将数据包分配给平行数据流，以及将与所述数据包关联的元数据发布至与所述平行数据流分离的控制数据流；

接收对所述流数据部分的请求；

传送对应于所述流数据的被请求部分的归档的数据包和所述关联的元数据，其中，所传送的关联的元数据包括一个或多个用于校验数据一致性的列式校验和，其中与归档的数据包一起传送的所述关联元数据与发布到所述控制数据流的元数据相同；

根据接收的请求，从存储器请求要处理的第一多个数据包；

处理所述第一多个数据包；以及

当没有接收到指示第二多个数据包准备处理的信号时，以增加的时间间隔从存储器请求额外的数据包。

2.根据权利要求1所述的方法，其中所述传送对应于所述流数据的被请求部分的归档的数据包还包括:

扫描与所述流数据的被请求部分关联的元数据的归档的数据包；

确定具有与所述流数据的被请求部分相匹配的关联的元数据的多个归档的数据包；以及

响应于确定具有与所述流数据的被请求部分相匹配的关联的元数据的多个归档的数据包，传送所述多个归档的数据包及关联的元数据。

3.根据权利要求1所述的方法，其中所述传送对应于所述流数据的被请求部分的归档的数据包还包括：

从特定的数据流中检索归档的数据包的连续序列并将所述归档的数据包的连续序列转换成与请求者兼容的格式。

4.根据权利要求1所述的方法，还包括：

在传送对应于所述流数据的被请求部分的归档的数据包之后，使用已传送的元数据中的一个或多个列式校验和来验证所述流数据的被请求部分是否一致。

5.根据权利要求1所述的方法，还包括：

接收指示第三多个数据包准备处理的信号；和

以减小的时间间隔从存储器请求额外的数据包。

6.根据权利要求1所述的方法，还包括：

接收具有唯一标识符的逻辑数据集的定义；

标记与所述唯一标识符相匹配的所有后续接收的流数据；

在独立的数据流上发布经标记的数据，其中所述独立的数据流包括对其它数据流的引用；和

使请求者能够自定义对独立的数据流的访问。

7.根据权利要求1所述的方法，其中数据流的流动独立于其他数据流的流动。

8.一种用于可扩展的结构化数据分布的系统包括：

存储器；和

通信地联接至所述存储器的可编程电路，所述可编程电路配置用于：

从数据发生器接收流数据；

根据一组捆绑参数将所述流数据捆绑成数据包；

识别与所述数据包关联的元数据；

将具有关联元数据的所述数据包归档在所述存储器中；

归档同时，将数据包分配给平行数据流，以及将与所述数据包关联的元数据发布至与所述平行数据流分离的控制数据流；

接收对所述流数据部分的请求；

传送对应于所述流数据的被请求部分的归档的数据包以及所述关联的元数据，其中，所传送的关联的元数据包括一个或多个用于校验数据一致性的列式校验和，其中与归档的数据包一起传送的所述关联元数据与发布到所述控制数据流的元数据相同；

根据接收的请求，从所述存储器请求要处理的第一多个数据包；

处理所述第一多个数据包；以及

当没有接收到指示第二多个数据包准备处理的信号时，以增加的时间间隔从所述存储器请求额外的数据包。