[发明专利]一种数据处理方法及装置

说明书

本公开涉及一种数据处理方法及装置。所述方法包括：当前过滤器处理单元判断是否接收到控制信号，所述控制信号用于表示分阶段数据处理；如果接收到所述控制信号，且所述当前过滤器处理单元用于进行全局处理，则所述当前过滤器处理单元判断当前数据状态是否达到预设状态；如果所述当前数据状态达到所述预设状态，所述当前过滤器处理单元对当前已接收的数据进行数据处理，得到当前阶段的数据处理结果，所述当前已接收的数据包括本阶段接收的数据以及本阶段之前累计接收的数据；所述当前过滤器处理单元清零所述当前数据状态。如此方案，有助于解决现有技术因过滤器处理单元等待接收全量数据造成的管道阻塞以及数据处理响应性差的问题。

技术领域

本公开涉及计算机处理技术领域，具体地，涉及一种数据处理方法及装置。

背景技术

管道-过滤器(Pipe-And-Filter)模式主要用于数据流的处理分析。参见图1所示示意图，管道-过滤器模式可以包括多个过滤器处理单元，且多个过滤器处理单元之间通过管道连接。其中，管道用于进行数据传递，过滤器处理单元用于进行数据加工与处理。具体地，数据源中的数据经由最上游的过滤器处理单元流入链路中，经过逐级传递、处理，最终由最下游的过滤器处理单元完成数据处理后进行结果输出。

通常，如果数据能够逐条在链路中传递，那么数据的流入速度与流出速度是相互匹配的，也就是说，整条链路的数据处理过程非常顺畅平滑，具备很好的响应性。但在实际应用中，对于数据分组、聚合计算、数据排序等需要对全量数据进行全局处理的场景，过滤器处理单元会对接收到的数据进行数据截断，并在确定接收到全量数据之后才进行后续处理。如此，可能会造成管道阻塞，影响数据处理的响应性，特别是在链路中存在多个需要全局计算的过滤器处理单元时，这一问题会变的尤为明显。

发明内容

本公开的目的是提供一种数据处理方法及装置，有助于解决过滤器处理单元等待接收全量数据造成的管道阻塞以及数据处理响应性差的问题。

为了实现上述目的，第一方面，本公开提供一种数据处理方法，包括：

当前过滤器处理单元判断是否接收到控制信号，所述控制信号用于表示分阶段数据处理；

如果接收到所述控制信号，且所述当前过滤器处理单元用于进行全局处理，则所述当前过滤器处理单元判断当前数据状态是否达到预设状态；

如果所述当前数据状态达到所述预设状态，所述当前过滤器处理单元对当前已接收的数据进行数据处理，得到当前阶段的数据处理结果，所述当前已接收的数据包括本阶段接收的数据以及本阶段之前累计接收的数据；

所述当前过滤器处理单元清零所述当前数据状态。

可选地，所述预设状态为预设数据量、预设分段时长、相邻两个数据之间的预设时间间隔中的至少一个。

可选地，所述方法还包括：所述当前过滤器处理单元向下游链路发送所述控制信号以及所述当前阶段的数据处理结果。

可选地，如果接收到所述控制信号，且所述当前过滤器处理单元用于进行非全局处理，所述方法还包括：

所述当前过滤器处理单元对接收到的数据进行数据处理，得到所述数据的处理结果；

所述当前过滤器处理单元向下游链路发送所述控制信号以及所述数据的处理结果。

可选地，如果未接收到所述控制信号，且所述当前过滤器处理单元用于进行全局处理，所述方法还包括：

所述当前过滤器处理单元判断当前数据状态是否达到预设状态；

如果所述当前数据状态达到所述预设状态，所述当前过滤器处理单元对当前已接收的数据进行数据处理，得到当前阶段的数据处理结果，所述当前已接收的数据包括本阶段接收的数据以及本阶段之前累计接收的数据；