[发明专利]数据流式处理方法及装置

权利要求书

1.一种数据流式处理方法，其特征在于，包括：

获取待处理数据的配置文件，其中，所述配置文件中至少包含所述待处理数据的计算指标；

根据所述配置文件和预先构建的通用计算逻辑算子，生成所述待处理数据的计算任务模型，其中，所述计算任务模型包括一个或多个通用计算逻辑算子；

根据所述计算任务模型，对实时获取的待处理数据进行指标计算；

其中，根据所述计算任务模型，对实时获取的待处理数据进行指标计算，包括：

解析实时获取的待处理数据；

将解析结果数据映射至所述计算任务模型的变量中。

2.如权利要求1所述的方法，其特征在于，在根据所述计算任务模型，对实时获取的待处理数据进行指标计算之后，所述方法还包括：

将所述待处理数据的计算结果，实时存储到高速缓存中；

将所述待处理数据的计算结果，按照批量异步方式存储到数据库中。

3.如权利要求2所述的方法，其特征在于，在将所述待处理数据的计算结果，分别存储到高速缓存和数据库中之后，所述方法还包括：

在所述高速缓存中的数据丢失的情况下，根据所述数据库中存储的数据恢复所述高速缓存中的数据。

4.如权利要求1所述的方法，其特征在于，所述配置文件还包含所述待处理数据的过滤条件，所述过滤条件通过如下任意一种或多种逻辑运算组合或嵌套构成的表达式实现：与运算、或运算、非运算、比较运算、取值范围运算。

5.如权利要求1至4任一所述的方法，其特征在于，所述通用计算逻辑算子包括如下至少一种：计数器、求和器、状态记录和流水记录，所述计数器用于计数，所述求和器用于求和，所述状态记录用于记录数据的最新状态，所述流水记录用于记录数据的详情。

6.一种数据流式处理装置，其特征在于，包括：

配置文件获取模块，用于获取待处理数据的配置文件，其中，所述配置文件中至少包含所述待处理数据的计算指标；

计算任务模型生成模块，用于根据所述配置文件和预先构建的通用计算逻辑算子，生成所述待处理数据的计算任务模型，其中，所述计算任务模型包括一个或多个通用计算逻辑算子；

数据处理模块，用于根据所述计算任务模型，对实时获取的待处理数据进行指标计算；

其中，数据处理模块，具体用于解析实时获取的待处理数据；将解析结果数据映射至所述计算任务模型的变量中。

7.如权利要求6所述的装置，其特征在于，所述装置还包括：

第一数据存储模块，用于将所述待处理数据的计算结果，实时存储到高速缓存中；

第二数据存储模块，用于将所述待处理数据的计算结果，按照批量异步方式存储到数据库中。

8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一所述的数据流式处理方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至5任一所述数据流式处理方法的计算机程序。