[发明专利]基于ETL的数据流处理方法、系统、装置及可读存储介质

权利要求书

1.一种基于ETL的数据流处理方法，其特征在于，包括：

适配数据源，获取所述数据源传输的数据流；

根据与所述数据源对应的数据分类规则对所述数据流进行分类，得到多组子数据流；

分别对每组子数据流按照预设的时间窗口进行数据合并，得到各组合并后的数据信息，以供后续程序使用。

2.根据权利要求1所述的基于ETL的数据流处理方法，其特征在于，所述适配数据源，获取所述数据源传输的数据流的过程，包括：

适配所述数据源，获取所述数据源传输的原始数据流；

对所述原始数据流进行数据解析，将所述原始数据流转换为可读取的数据格式，得到解析后的所述数据流。

3.根据权利要求2所述的基于ETL的数据流处理方法，其特征在于，所述对所述原始数据流进行数据解析，将所述原始数据流转换为可读取的数据格式，得到解析后的所述数据流的过程，包括：

对所述原始数据流进行数据解析，将所述原始数据流转换为可读取的数据格式，得到解析后的解析数据流；

根据预设的数据映射规则，将所述解析数据流转换为预设的数据结构，得到所述数据流。

4.根据权利要求3所述的基于ETL的数据流处理方法，其特征在于，所述根据预设的数据映射规则，将所述解析数据流转换为预设的数据结构，得到所述数据流的过程，包括：

根据预设的数据映射规则，将所述解析数据流转换为预设的数据结构，得到结构数据流；

对所述结构数据流进行过滤处理，去除所述结构数据流中满足预设过滤条件的无用数据，得到所述数据流。

5.根据权利要求3所述的基于ETL的数据流处理方法，其特征在于，所述对所述原始数据流进行数据解析，将所述原始数据流转换为可读取的数据格式，得到解析后的解析数据流的过程，包括：

以键值对的方式对所述原始数据流进行数据解析，将所述原始数据流转换为JSON或GROK数据格式，得到解析后的所述解析数据流。

6.根据权利要求1至5任一项所述的基于ETL的数据流处理方法，其特征在于，所述分别对每组子数据流按照预设的时间窗口进行数据合并，得到各组合并后的数据信息，以供后续程序使用的过程，包括：

分别对每组子数据流按照预设的时间窗口以数据累加的形式进行数据合并，得到多组合并后的数据信息，以供后续程序使用。

7.一种基于ETL的数据流处理系统，其特征在于，包括：

数据获取模块，用于适配数据源，获取所述数据源传输的数据流；

数据分类模块，用于根据与所述数据源对应的数据分类规则对所述数据流进行分类，得到多组子数据流；

数据合并模块，用于分别对每组子数据流按照预设的时间窗口进行数据合并，得到各组合并后的数据信息，以供后续程序使用。

8.根据权利要求5所述的基于ETL的数据流处理系统，其特征在于，所述数据获取模块，包括：

原始数据获取单元，用于适配所述数据源，获取所述数据源传输的原始数据流；

数据解析单元，用于对所述原始数据流进行数据解析，将所述原始数据流转换为可读取的数据格式，得到解析后的所述数据流。

9.一种基于ETL的数据流处理装置，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现如权利要求1至6任一项所述的基于ETL的数据流处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于ETL的数据流处理方法。