[发明专利]基于ETL的数据流处理方法、系统、装置及可读存储介质

说明书

本申请公开了一种基于ETL的数据流处理方法、系统、装置及计算机可读存储介质，包括：适配数据源，获取所述数据源传输的数据流；根据与所述数据源对应的数据分类规则对所述数据流进行分类，得到多组子数据流；分别对每组子数据流按照预设的时间窗口进行数据合并，得到各组合并后的数据信息，以供后续程序使用。本申请对数据流进行数据合并，将连续不断的数据流重新变为了间断式的数据，减轻了后续应用程序对数据的处理压力，使得基于ETL情况下第三方程序不需升级，也可以对流模式的数据源进行处理。

技术领域

本发明涉及大数据处理领域，特别涉及一种基于ETL的数据流处理方法、系统、装置及计算机可读存储介质。

背景技术

数据流表示可以通过逻辑通道的所有事件，并且永远不会结束。例如，如果我们在锅炉中有一个温度传感器，我们可以将传感器的输出表示为一个流。但是，经典的SQL摄取存储在数据库表中的数据，对其进行处理，并将其写入数据库表。相反，上面的查询将在数据流进入时接收数据流，并生成数据流作为输出。例如，假设锅炉流中每10分钟发生一次事件。当事件与筛选器匹配时，筛选器查询将立即在结果流中生成事件。

在流处理模型中，输入是持续的，可以认为在时间上是无界的，也就意味着，永远拿不到全量数据去做处理。同时，处理结果是持续输出的，也即处理结果在时间上也是无界的。流处理一般对实时性要求较高，同时一般是先定义目标计算，然后数据到来之后将计算逻辑应用于数据。同时为了提高处理效率，往往尽可能采用增量处理代替全量处理。

现有ETL框架，难以应对数据流处理，为此需要一种新的基于ETL框架，支持数据流高效处理的方法。

发明内容

有鉴于此，本发明的目的在于提供一种基于ETL的数据流处理方法，基于ETL框架支持数据流高效处理。其具体方案如下：

一种基于ETL的数据流处理方法，包括：

适配数据源，获取所述数据源传输的数据流；

根据与所述数据源对应的数据分类规则对所述数据流进行分类，得到多组子数据流；

分别对每组子数据流按照预设的时间窗口进行数据合并，得到各组合并后的数据信息，以供后续程序使用。

可选的，所述适配数据源，获取所述数据源传输的数据流的过程，包括：

适配所述数据源，获取所述数据源传输的原始数据流；

对所述原始数据流进行数据解析，将所述原始数据流转换为可读取的数据格式，得到解析后的所述数据流。

可选的，所述对所述原始数据流进行数据解析，将所述原始数据流转换为可读取的数据格式，得到解析后的所述数据流的过程，包括：

对所述原始数据流进行数据解析，将所述原始数据流转换为可读取的数据格式，得到解析后的解析数据流；

根据预设的数据映射规则，将所述解析数据流转换为预设的数据结构，得到所述数据流。

可选的，所述根据预设的数据映射规则，将所述解析数据流转换为预设的数据结构，得到所述数据流的过程，包括：

根据预设的数据映射规则，将所述解析数据流转换为预设的数据结构，得到结构数据流；

对所述结构数据流进行过滤处理，去除所述结构数据流中满足预设过滤条件的无用数据，得到所述数据流。

可选的，所述对所述原始数据流进行数据解析，将所述原始数据流转换为可读取的数据格式，得到解析后的解析数据流的过程，包括：

以键值对的方式对所述原始数据流进行数据解析，将所述原始数据流转换为JSON或GROK数据格式，得到解析后的所述解析数据流。