[发明专利]一种通用流式数据分析模型及其构建方法

说明书

本发明公开了一种通用流式数据分析模型及其构建方法，构建方法包括：1)通过算子抽象，建立业务模型的基础构件；2)通过数据源参数配置，实现与数据源解耦，对于不同场景中的不同数据源，均可通过参数配置，调整模型所用到的数据源；3)通过配置算子的参数值，建立每个算子的计算规则；4)将各个算子连接，将前一个算子的计算结果作为输出，传递给后一个算子作为输入数据源，供后一个算子进行计算；5)重复步骤2)～4)，直到完成算法模型构建。本发明通过算子抽象，实现业务模型的灵活建立；通过参数设置，实现同一模型的灵活复用。

技术领域

本发明涉及流式数据处理技术，具体涉及一种通用流式数据分析模型及其构建方法。

背景技术

现阶段针对流式数据的处理，普遍将数据分析算法实例化于代码层面。如此方式，一则，可支持的分析算法有限，如需再加或者调整必须通过编码实现，消耗工作量较大；再则，与实际业务数据绑定，所实现的算法局限性较大。因此，该类实时数据的分析模型实现方式较为死板，无法应对灵活多变的业务需求，且如此创建的分析模型无法复用于其他业务不同的项目中。

发明内容

本发明的目的在于针对在流式数据处理或实时数据分析场景，提供一种通用流式数据分析模型及其构建方法，将分析算法模型的创建与具体业务逻辑抽离，以达到分析模型灵活建立的目的，解决现阶段针对实时数据，采用将数据分析算法实例化于代码层面的实现方式所带来的工作量较大，需求变更应对不灵活的问题。

实现本发明目的的技术方案为：一种通用流式数据分析模型，数据分析模型由多步运算按序组成，从数据源流入，经数步运算后得出结果；将数据源和运算抽象为算子，所述数据分析模型包括：

开始算子，用于表明数据起始的开端；

数据源算子，用于选择所需进行数据分析的实时数据的类别；

过滤运算算子，该类下的算子主要针对实时数据过滤的逻辑；

中间库碰撞算子，该类算子针对需要与积累数据进行碰撞的场景；

流向算子，针对算法中流程描述，抽象出流向算子，用于标记数据处理的流向；

分支算子，用于标记根据上一步算子的运算结果下一步数据处理的流向；

告警算子，标记为该数据符合算法逻辑；

结束算子，数据行至该算子，即表示处理结束。

一种通用流式数据分析模型的构建方法，所述数据分析模型由多步运算按序组成，从数据源流入，经数步运算后得出结果，数据分析模型的构建方法包括以下步骤：

1)通过算子抽象，建立业务模型的基础构件；

2)通过数据源参数配置，实现与数据源解耦，对于不同场景中的不同数据源，均可通过参数配置，调整模型所用到的数据源；

3)通过配置算子的参数值，建立每个算子的计算规则；

4)将各个算子连接，将前一个算子的计算结果作为输出，传递给后一个算子作为输入数据源，供后一个算子进行计算；

5)重复步骤2)～4)，直到完成算法模型构建。

与现有技术相比，本发明的显著优点为：(1)通过数据源配置方式实现与数据源解耦，对于不同场景中的不同数据源，均可通过配置的调整模型所用到的数据源；(2)通过算子抽象，实现业务模型的灵活建立；(3)通过参数设置，实现同一模型的灵活复用；对于现有分析模型的调整，或者新增模型，无需改动代码，且应对迅速；与具体业务场景解耦，可复用于其他不同业务创建的项目中；(4)分析模型的创建，无需通过硬编码实现，节省大量开发工作。

附图说明

图1是特定数据采集模型示意图。