[发明专利]流式数据处理方法、装置、电子设备及存储介质

说明书

本申请公开了一种流式数据处理方法、装置、电子设备及存储介质，涉及数据处理技术领域。具体实现方案为：先获取第一数据存储容器中各个数据分片对应的实例的运行状态，其中，第一数据存储容器包括多个数据分片，数据下发组件的缓存数据按照数据分片粒度存储在第一数据存储容器中，然后，根据运行状态确定溢出数据分片，溢出数据分片为运行状态为异常状态的实例所对应的数据分片，最后，将溢出数据分片中的数据缓存至存储介质中。本申请提供的流式数据处理方法，通过将运行状态为异常状态的实例所对应的数据分片缓存至存储介质中，从而将异常数据分片和正常数据分片分开处理，进而避免因某级算子实例短期异常，而造成整体处理能力下降。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种流式数据处理方法、装置、电子设备及存储介质。

背景技术

随着服务器数据处理能力的发展，流式计算广泛应用于信息流、搜索建库、检索计费等大型分布式计算场景中。

其中，在流式计算中，当短时间内系统接收数据的速率高于它处理数据的速率时，系统通常情况将进行反压(backpressure)处理。对于造成反压的原因可能有如下两点：1、流量突增，超过系统处理能力；2、某级算子实例短期异常，处理能力下降。目前，现有技术中处理反压并没有区分上述两种情况，统一都是全部按照反压方式处理。

但是，如果是因为某级算子实例短期异常，处理能力下降，直接采用反压的方式，则无法隔离正常和异常实例，进而会造成流式计算算力以及内存的浪费。

发明内容

本申请提供一种流式数据处理方法、装置、电子设备及存储介质，以解决因某级算子实例短期异常，而造成的整体处理能力下降的问题。

第一方面，本申请提供一种流式数据处理方法，包括：

获取第一数据存储容器中各个数据分片对应的实例的运行状态，其中，所述第一数据存储容器包括多个数据分片，数据下发组件的缓存数据按照数据分片粒度存储在所述第一数据存储容器中；

根据所述运行状态确定溢出数据分片，所述溢出数据分片为所述运行状态为异常状态的实例所对应的数据分片；

将所述溢出数据分片中的数据缓存至存储介质中。

在本实施例中，通过将获取第一数据存储结构中各个数据分片对应的实例的运行状态，然后根据运行状态确定运行状态为异常状态的实例所对应溢出数据分片，再将溢出数据分片中的数据缓存至存储介质中，从而使得第一数据存储结构的数据可以按照数据分片粒度进行溢出，以将运行状态为异常状态的实例所对应的数据分片缓存至存储介质中，从而将异常数据分片和正常数据分片分开处理，进而避免因某级算子实例短期异常，而造成的整体处理能力下降的情况。

在一种可能的设计中，所述将所述溢出数据分片中的数据缓存至存储介质中，包括：

将数据单元中的数据缓存至所述存储介质的落盘数据文件中，所述溢出数据分片包括至少一个所述数据单元，所述数据单元按照预设数据结构进行数据存储。

在一种可能的设计中，所述预设数据结构包括数据标识符、数据记录单元以及落盘文件元信息，所述落盘文件元信息包括存储位置信息以及文件信息；

所述数据标识符为每条单元数据的唯一标识符；

所述数据记录单元用于存储所述单元数据中的数据，当将所述数据单元中的数据缓存至所述存储介质的落盘数据文件中时，所述数据单元为空单元；

所述存储位置信息为所述落盘数据文件的位置信息；

所述文件信息为所述单元数据中的数据在所述落盘数据文件中的位置信息。

在本实施例中，通过定于预设数据结构，建立数据分片中的标识符与落盘数据文件中所存储的数据的联系，从而便于后续的数据加载。