[发明专利]一种管道式数据处理方法、设备以及存储介质

说明书

本发明公开了一种管道式数据处理方法，包括步骤：创建管道节以及管道节描述文件；获取待处理数据；根据所述待处理数据确定对应的所述管道节描述文件；根据所述管道节描述文件确定处理所述待处理数据的若干个管道节；利用所述若干个管道节处理所述待处理数据。本发明还公开了一种计算机设备以及可读存储介质。本发明提出的方法通过管道节描述文件描述了管道的构成、处理流转规则，解决了数据处理程序难以维护等问题。

技术领域

本发明涉及数据处理领域，具体涉及一种管道式数据处理方法、设备以及存储介质。

背景技术

在大数据、云计算技术飞速发展的今天，为打破信息孤岛，更多来源的数据汇聚到统一的展现系统用于分析决策，因为这些数据来自不同系统，通常情况下针对不同来源的数据编写一个处理程序用于规范化这些数据是个不错的选择，但这只适用于一成不变的系统，在信息技术飞速发展的今天，新的需求被不断提出，一成不变的数据规范化程序不得不面对频繁的修改，越来越多、越来越复杂的数据处理逻辑被增加到程序中，使得程序难以维护；伴随着数据处理逻辑的增加，程序开始处理性能上的问题，但要找到性能问题出现在哪个处理中并不容易；当数据在处理过程中出现错误时，也无法得知执行这个数据处理逻辑出现问题导致了错误。

发明内容

有鉴于此，为了克服上述问题的至少一个方面，本发明实施例的提出一种管道式数据处理方法，包括步骤：

创建管道节以及管道节描述文件；

获取待处理数据；

根据所述待处理数据确定对应的所述管道节描述文件；

根据所述管道节描述文件确定处理所述待处理数据的若干个管道节；

利用所述若干个管道节处理所述待处理数据。

在一些实施例中，利用所述若干个管道节处理所述待处理数据，进一步包括：

根据所述管道节描述文件预设的管道节跳转规则确定处理所述待处理数据的所述若干个管道节的处理顺序；或，

根据所述管道节描述文件确定处理所述待处理数据的第一个管道节并根据所述第一个管道节和其余的所述管道节默认的跳转规则确定处理所述待处理数据的所述若干个管道节的处理顺序。

在一些实施例中，还包括：

在每一个所述管道节的出入口设置跟踪参数，并根据所述跟踪参数进行监控；

响应于其中一个所述管道节异常，调用默认的异常处理节完结处理流程。

在一些实施例中，利用所述若干个管道节处理所述待处理数据，进一步包括：

构造并初始化管道上下文；

利用所述管道上下文记录每一个所述管道节在处理数据时产生的参数信息。

在一些实施例中，构造并初始化管道上下文，进一步包括：

生成唯一标识符；

利用所述唯一标识符标识利用所述若干个管道节对所述待处理数据的处理流程。

基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机设备，包括：

至少一个处理器；以及

存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行以下步骤：

创建管道节以及管道节描述文件；

获取待处理数据；

根据所述待处理数据确定对应的所述管道节描述文件；