[发明专利]离线数据与流式数据实时融合计算的方法

权利要求书

1.一种离线数据与流式数据实时融合计算的方法，其特征在于，包括：

S1、首先确认结果数据的计算逻辑，整理需要的输入数据；

S2、本发明根据计算结果过程中所有输入的数据的属性、特性、计算逻辑按实时性进行分类；

S3、根据S2中的数据分类，进行处理；

S4，当遇到离线型数据与实时输入数据需要关联时，采用流式处理的方式，在流式过程处理中去关联离线处理完成的离线型数据的计算结果，用此方法得到一个新的实时输入数据，所述新的实时输入数据是实时输入数据与离线型结果关联的结果数据；

S5、用S3，S4步骤中的方式处理完计算过程中所有的输入，即得到最终的计算结果。

2.根据权利要求1所述的离线数据与流式数据实时融合计算的方法，其特征在于，所述S3、S4步骤中的流式处理方式与实时输入数据与离线型结构的过程包括如下内容，

101到104和103到106这两个过程是单纯的离线计算，102到105这个过程是单纯的流式计算，即上述流程描述中S3步骤中描述的计算过程。

3.根据权利要求2所述的离线数据与流式数据实时融合计算的方法，其特征在于，所述S3、S4步骤中的流式处理方式与实时输入数据与离线型结构的过程包括如下内容，104和105到107的过程，以及107和106到108的过程，是离线型数据和实时输入数据关联的过程。

4.根据权利要求3所述的离线数据与流式数据实时融合计算的方法，其特征在于，所述108为步骤S5中最终得到的计算结果。

5.根据权利要求1所述的离线数据与流式数据实时融合计算的方法，其特征在于，所述步骤S2中根据计算结果过程中所有输入的数据的属性、特定的计算逻辑实时性进行分类，该分类为两类，一类数据是代表历史的统计结果的离线型数据，一类是实时性高的实时输入数据。

6.根据权利要求5所述的离线数据与流式数据实时融合计算的方法，其特征在于，所述离线型数据和实时输入数据经过聚合、计算、统计后得到最后的实时统计结果。

7.根据权利要求6所述的离线数据与流式数据实时融合计算的方法，其特征在于，所述处理单纯的离线型数据和实时输入数据，对离线型的数据用离线处理的方式进行处理，对实时输入数据，用流式计算的方式。

8.根据权利要求1所述的离线数据与流式数据实时融合计算的方法，其特征在于，所述步骤S1中所述的结果数据包括计算过程中的中间结果，中间结果包括上一步的输出、下一步的输入。

9.根据权利要求1所述的离线数据与流式数据实时融合计算的方法，其特征在于，所述步骤S4中离线型数据和实时数据的关联关系，包括两种，一种是同一种计算逻辑划分下的两份数据，是离线型数据和实时输入数据的加和；另一种是业务逻辑上的关联关系。

10.根据权利要求9所述的离线数据与流式数据实时融合计算的方法，其特征在于，所述业务逻辑上的关联关系需要先计算好离线型数据，然后在流式处理实时数据时，取出计算好的离线型数据结果，进行关联。