[发明专利]数据流式处理方法及装置

说明书

本发明公开了一种数据流式处理方法及装置，该方法包括：获取待处理数据的配置文件，其中，配置文件中至少包含待处理数据的计算指标；根据配置文件和预先构建的通用计算逻辑算子，生成待处理数据的计算任务模型，其中，计算任务模型包括一个或多个通用计算逻辑算子；根据计算任务模型，对实时获取的待处理数据进行指标计算。本发明可以降低开发人员的编码工作量、提高开发效率。

技术领域

本发明涉及信息领域，尤其涉及一种数据流式处理方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着信息技术的快速发展，人们对数据业务的实时性要求也越来越高，这就需要对数据进行实时计算。在大数据环境下，将源源不断产生的数据进行实时收集、实时计算并快速得到计算结果的计算平台称为流式计算引擎。目前，市场上比较流行的流式计算引擎有Storm、Spark streaming、Flink等。其中，Storm作为一个免费开源、分布式、高容错的流式计算引擎，被广泛应用于各个领域(例如，在线实时分析、在线机器学习、分布式远程调用等)。

Storm分布式计算结构称为Topology(计算任务)，由Spout和Bolt组成，其中，Spout是一个Topology中产生源数据流的组件；Bolt是在一个Topology中接收数据然后执行处理的组件。Storm作为流式计算引擎，定义了一套自己的编程模型，开发人员如果要实现一个流式计算任务，需要按照Storm定义的API编写大量spout和bolt代码，才能完成一个Topology(计算任务)，这种方式使得开发人员的编码工作量很大，开发效率不高。

发明内容

本发明实施例提供一种数据流式处理方法，用以解决现有基于Storm框架的数据流式计算方案，需要开发人员编写大量代码，导致系统开发效率低的技术问题，该方法包括：获取待处理数据的配置文件，其中，配置文件中至少包含待处理数据的计算指标；根据配置文件和预先构建的通用计算逻辑算子，生成待处理数据的计算任务模型，其中，计算任务模型包括一个或多个通用计算逻辑算子；根据计算任务模型，对实时获取的待处理数据进行计算处理；其中，根据所述计算任务模型，对实时获取的待处理数据进行指标计算，包括：解析实时获取的待处理数据；将解析结果数据映射至所述计算任务模型的变量中。

本发明实施例还提供一种数据流式处理装置，用以解决现有基于Storm框架的数据流式计算方案，需要开发人员编写大量代码，导致系统开发效率低的技术问题，该装置包括：配置文件获取模块，用于获取待处理数据的配置文件，其中，配置文件中至少包含待处理数据的计算指标；计算任务模型生成模块，用于根据配置文件和预先构建的通用计算逻辑算子，生成待处理数据的计算任务模型，其中，计算任务模型包括一个或多个通用计算逻辑算子；数据处理模块，用于根据计算任务模型，对实时获取的待处理数据进行计算处理；其中，数据处理模块，具体用于解析实时获取的待处理数据；将解析结果数据映射至所述计算任务模型的变量中。

本发明实施例中，通过预先构建通用的计算逻辑算子，在获取到包含待处理数据计算指标的配置文件后，根据配置文件和预先构建的通用计算逻辑算子，生成待处理数据的计算任务模型，然后基于该计算任务模型对实时获取的待处理数据进行计算处理。通过本发明实施例，提供了一种配置化的流式计算处理平台，降低了开发人员的编码工作量，提高了系统开发效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中提供的一种数据流式处理方法流程图；

图2为本发明实施例中提供的一种网络金融事中风险控制场景下数据流式处理方法流程图；