[发明专利]流式数据处理方法、装置、电子设备及存储介质

权利要求书

1.一种流式数据处理方法，其特征在于，包括：

获取第一数据存储结构中各个数据分片对应的实例的运行状态，其中，所述第一数据存储结构包括多个数据分片，数据下发组件的缓存数据按照数据分片粒度存储在所述第一数据存储结构中；

根据所述运行状态确定溢出数据分片，所述溢出数据分片为所述运行状态为异常状态的实例所对应的数据分片；

将所述溢出数据分片中的数据缓存至存储介质中。

2.根据权利要求1所述的流式数据处理方法，其特征在于，所述将所述溢出数据分片中的数据缓存至存储介质中，包括：

将数据单元中的数据缓存至所述存储介质的落盘数据文件中，所述溢出数据分片包括至少一个所述数据单元，所述数据单元按照预设数据结构进行数据存储。

3.根据权利要求2所述的流式数据处理方法，其特征在于，所述预设数据结构包括数据标识符、数据记录单元以及落盘文件元信息，所述落盘文件元信息包括存储位置信息以及文件信息；

所述数据标识符为每条单元数据的唯一标识符；

所述数据记录单元用于存储所述单元数据中的数据，当将所述数据单元中的数据缓存至所述存储介质的落盘数据文件中时，所述数据单元为空单元；

所述存储位置信息为所述落盘数据文件的位置信息；

所述文件信息为所述单元数据中的数据在所述落盘数据文件中的位置信息。

4.根据权利要求3所述的流式数据处理方法，其特征在于，在所述将所述溢出数据分片中的数据缓存至存储介质中之后，还包括：

获取指针重置指令；

根据所述指针重置指令重置所述数据分片的标识指针，其中，所述标识指针包括第一指针和第二指针，所述第一指针用于指向上次拉取数据的尾部，所述第二指针用于指向本次拉取数据的尾部。

5.根据权利要求4所述的流式数据处理方法，其特征在于，所述根据所述运行状态确定溢出数据分片，包括：

获取所述指针重置指令的发生频率；

若所述发生频率小于第一频率阈值，则当所述第一数据存储结构中的缓存数据的存储容量比例超过第一比例阈值后，将所拉取的数据所对应的数据分片确定为所述溢出数据分片。

6.根据权利要求5所述的流式数据处理方法，其特征在于，在所述获取所述指针重置指令的发生频率之后，还包括：

若所述发生频率大于第二频率阈值，则取消将所述溢出数据分片中的数据缓存至所述存储介质中。

7.根据权利要求1-6中任意一项所述的流式数据处理方法，其特征在于，所述存储介质为固态硬盘和/或机械硬盘。

8.根据权利要求1-6中任意一项所述的流式数据处理方法，其特征在于，还包括：

处理所述数据分片中的第一数据；

若所述第一数据缓存至所述存储介质中，则发送确认信息，所述确认信息用于指示上游节点对所述第一数据进行回收。

9.根据权利要求1-6中任意一项所述的流式数据处理方法，其特征在于，还包括：

处理所述数据分片中的第一数据，以生成第二数据；

确定所述第二数据被下游节点完成消费，则发送确认信息，所述确认信息用于指示上游节点对所述第一数据进行回收。

10.一种流式数据处理装置，其特征在于，包括：

获取模块，用于获取第一数据存储结构中各个数据分片对应的实例的运行状态，其中，所述第一数据存储结构包括多个数据分片，数据下发组件的缓存数据按照数据分片粒度存储在所述第一数据存储结构中；

处理模块，用于根据所述运行状态确定溢出数据分片，所述溢出数据分片为所述运行状态为异常状态的实例所对应的数据分片；

缓存模块，用于将所述溢出数据分片中的数据缓存至存储介质中。