[发明专利]一种数据处理方法及装置

说明书

本公开涉及一种数据处理方法及装置。该方法包括：当前过滤器处理单元接收上游过滤器处理单元发送的增量数据以及控制信号，控制信号包括增量数据对应的起始时间；当前过滤器处理单元判断是否需要构建窗口数据；如果需要构建窗口数据，则根据预设窗口大小以及起始时间，从本地缓存中读取历史窗口数据；当前过滤器处理单元根据增量数据对应的时间步长，清理历史窗口数据中时间最久的数据，得到历史窗口数据中的保留数据；当前过滤器处理单元基于保留数据以及增量数据，构建新的窗口数据，并利用新的窗口数据替换本地缓存中的历史窗口数据，新的窗口数据的窗口大小与预设窗口大小相同。如此方案，可使增量查询方案能够更好的适用于管道‑过滤器模式。

技术领域

本公开涉及计算机处理技术领域，具体地，涉及一种数据处理方法及装置。

背景技术

目前，进行窗口数据的跟踪查询时，大多采用以下两种方式：

方式一，窗口数据的全量查询。也就是说，单次查询需要加载窗口内的所有数据，该方法简单易行，但在大数据场景下，由于数据基数较大，多次往复查询会加载大量的重复数据，造成资源浪费，很容易在实际应用中出现性能瓶颈。

方式二，窗口数据的增量查询。为了解决方式一的资源浪费问题，现有技术提供了增量查询方案，也就是说，单次查询只需要加载窗口内最新的增量数据，可以有效避免反复加载重复数据造成的资源浪费。

但在实际应用中，将增量查询方案应用于管道-过滤器(Pipe-And-Filter)模式时，对于需要进行全局处理的过滤器处理单元来说，如果仅提供最新的增量数据，并不能确保得到最终的窗口数据，进而也就无法获得该窗口数据的查询结果。也就是说，目前的增量查询方案并不能很好的适用于管道-过滤器模式。

发明内容

本公开的目的是提供一种数据处理方法及装置，以使增量查询方案能够更好的适用于管道-过滤器模式。

为了实现上述目的，第一方面，本公开提供一种数据处理方法，包括：

当前过滤器处理单元接收上游过滤器处理单元发送的增量数据以及控制信号，所述控制信号包括所述增量数据对应的起始时间；

所述当前过滤器处理单元判断是否需要构建窗口数据；

如果需要构建窗口数据，所述当前过滤器处理单元根据预设窗口大小以及所述起始时间，从本地缓存中读取历史窗口数据；

所述当前过滤器处理单元根据所述增量数据对应的时间步长，清理所述历史窗口数据中时间最久的数据，得到所述历史窗口数据中的保留数据；

所述当前过滤器处理单元基于所述保留数据以及所述增量数据，构建新的窗口数据，并利用所述新的窗口数据替换所述本地缓存中的历史窗口数据，所述新的窗口数据的窗口大小与所述预设窗口大小相同。

可选地，所述预设窗口大小通过所述控制信号传递至所述当前过滤器处理单元；或者，所述预设窗口大小预先配置于所述当前过滤器处理单元。

可选地，所述当前过滤器处理单元判断是否需要构建窗口数据，包括：

所述当前过滤器处理单元配置有预设标志位，通过所述预设标志位的状态判断是否需要构建窗口数据。

可选地，所述当前过滤器处理单元判断是否需要构建窗口数据，包括：

所述当前过滤器处理单元判断是否配置有所述预设窗口大小；

如果配置有所述预设窗口大小，所述当前过滤器处理单元判定需要构建窗口数据。

可选地，所述当前过滤器处理单元设置有对应的索引文件，则

所述从本地缓存中读取历史窗口数据，包括：所述当前过滤器处理单元从所述索引文件中读取所述历史窗口数据；