[发明专利]一种数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

当前过滤器处理单元接收上游过滤器处理单元发送的增量数据以及控制信号，所述控制信号包括所述增量数据对应的起始时间，相邻过滤器处理单元之间设置有用于传递控制信号的控制管道；

所述当前过滤器处理单元判断是否需要构建窗口数据；

如果需要构建窗口数据，所述当前过滤器处理单元根据预设窗口大小以及所述起始时间，从本地缓存中读取历史窗口数据；

所述当前过滤器处理单元根据所述增量数据对应的时间步长，清理所述历史窗口数据中时间最久的数据，得到所述历史窗口数据中的保留数据；

所述当前过滤器处理单元基于所述保留数据以及所述增量数据，构建新的窗口数据，并利用所述新的窗口数据替换所述本地缓存中的历史窗口数据，所述新的窗口数据的窗口大小与所述预设窗口大小相同。

2.根据权利要求1所述的方法，其特征在于，所述预设窗口大小通过所述控制信号传递至所述当前过滤器处理单元；或者，所述预设窗口大小预先配置于所述当前过滤器处理单元。

3.根据权利要求1所述的方法，其特征在于，所述当前过滤器处理单元判断是否需要构建窗口数据，包括：

所述当前过滤器处理单元配置有预设标志位，通过所述预设标志位的状态判断是否需要构建窗口数据；

或者，

所述当前过滤器处理单元判断是否配置有所述预设窗口大小；如果配置有所述预设窗口大小，则判定需要构建窗口数据。

4.根据权利要求1所述的方法，其特征在于，所述当前过滤器处理单元设置有对应的索引文件，则

所述从本地缓存中读取历史窗口数据，包括：所述当前过滤器处理单元从所述索引文件中读取所述历史窗口数据；

所述利用所述新的窗口数据替换所述本地缓存中的历史窗口数据，包括：所述当前过滤器处理单元将所述新的窗口数据写入所述索引文件，替换所述历史窗口数据。

5.根据权利要求1至4任一项所述的方法，其特征在于，如果所述当前过滤器处理单元判定不需要构建窗口数据，所述方法还包括：

所述当前过滤器处理单元向下游链路传输所述控制信号以及所述增量数据的处理结果。

6.一种数据处理装置，其特征在于，所述数据处理装置属于当前过滤器处理单元，所述装置包括：

接收模块，用于接收上游过滤器处理单元发送的增量数据以及控制信号，所述控制信号包括所述增量数据对应的起始时间，相邻过滤器处理单元之间设置有用于传递控制信号的控制管道；

判断模块，用于判断是否需要构建窗口数据；

读取模块，用于在所述判断模块判定需要构建窗口数据时，根据预设窗口大小以及所述起始时间，从本地缓存中读取历史窗口数据；

清理模块，用于根据所述增量数据对应的时间步长，清理所述历史窗口数据中时间最久的数据，得到所述历史窗口数据中的保留数据；

构建模块，用于基于所述保留数据以及所述增量数据，构建新的窗口数据，所述新的窗口数据的窗口大小与所述预设窗口大小相同；

替换模块，用于利用所述新的窗口数据替换所述本地缓存中的历史窗口数据。

7.根据权利要求6所述的装置，其特征在于，

所述判断模块，用于在配置有预设标志位时，通过所述预设标志位的状态判断是否需要构建窗口数据；

或者，

所述判断模块，用于判断是否配置有所述预设窗口大小；如果配置有所述预设窗口大小，则判定需要构建窗口数据。

8.根据权利要求6所述的装置，其特征在于，所述当前过滤器处理单元设置有对应的索引文件，则

所述读取模块，用于从所述索引文件中读取所述历史窗口数据；

所述替换模块，用于将所述新的窗口数据写入所述索引文件，替换所述历史窗口数据。

9.根据权利要求6至8任一项所述的装置，其特征在于，所述装置还包括：

传输模块，用于在所述判断模块判定不需要构建窗口数据时，向下游链路传输所述控制信号以及所述增量数据的处理结果。

10.一种数据处理装置，其特征在于，所述数据处理装置属于当前过滤器处理单元，所述装置包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

接收上游过滤器处理单元发送的增量数据以及控制信号，所述控制信号包括所述增量数据对应的起始时间，相邻过滤器处理单元之间设置有用于传递控制信号的控制管道；

判断是否需要构建窗口数据；

如果需要构建窗口数据，则根据预设窗口大小以及所述起始时间，从本地缓存中读取历史窗口数据；

根据所述增量数据对应的时间步长，清理所述历史窗口数据中时间最久的数据，得到所述历史窗口数据中的保留数据；

基于所述保留数据以及所述增量数据，构建新的窗口数据，并利用所述新的窗口数据替换所述本地缓存中的历史窗口数据，所述新的窗口数据的窗口大小与所述预设窗口大小相同。