[发明专利]一种业务处理的方法、装置及系统

说明书

技术领域

本发明涉及计算机技术领域，具体涉及一种业务处理的方法、装置及系统。

背景技术

实时流计算是指数据出现时便立刻对其进行处理，发生一个事件进行一次处理，而不是缓存起来批量处理，支持实时流计算的计算系统称为流计算系统或流计算平台。

在流计算系统中，业务处理逻辑通常需要转化为流式计算应用模型，流式计算应用模型通常为无回路有向图(Directed Acyclic Graph，DAG)，也称为应用流图，如图1所示，流式计算应用模型主要由算子(operator)和流(stream)构成，其中算子(operator)是承载业务逻辑的数据处理单元，可被流计算平台分布式调度根据的最小单元，而流(stream)则是算子间交互的数据。

迭代处理是一种不断用变量的旧值递推新值的计算方法。迭代处理在数据挖掘领域有广泛的应用。随着社交网络、知识图谱、生物信息网络等应用的兴起和发展，迭代处理的数据规模日益膨胀，数据结构更加复杂，算法时间和空间开销面临着更大的挑战。

现有技术中在进行迭代处理时，都需要对数据先进行存储，然后再分批进行处理，导致数据处理的时延较高，实时性较差。

发明内容

为了解决现有技术中迭代处理时延高、实时性差的问题，本发明实施例提供的一种业务处理的方法，将接收到的业务的数据直接进行迭代处理，不需要先进行存储，可以降低业务的数据的处理时延，提高实时性。本发明实施例还提供了相应的装置及系统。

本发明第一方面提供一种业务处理的方法，所述方法应用于流计算系统中的工作节点，所述流计算系统还包括主控节点，所述主控节点根据流式计算应用模型调度一个或多个算子到所述工作节点，以处理业务的数据，所述方法包括：

所述工作节点获取所述主控节点调度的算子，所述流式计算应用模型为针对所述业务预先建立的包含算子和算子间数据流走向的逻辑关系图，每个算子用于承载所述业务对应的处理逻辑中的部分处理逻辑，所述流式计算应用模型中的算子和所述算子之间的数据流走向构成至少一个迭代环，并且每个迭代环的出口算子上都配置有所述每个迭代环对应的迭代次数，所述出口算子为所述每个迭代环中数据流走向上的最后一个算子，所述每个迭代环对应的迭代次数表示所述业务的数据在所述每个迭代环中需要被迭代处理的次数；

接收所述业务的数据；

根据所述每个算子所承载的部分处理逻辑对所述业务的数据进行处理，在根据每个出口算子的部分处理逻辑，确定到所述业务的数据的迭代次数已达到所述每个出口算子所在的迭代环的迭代次数时，则将所述业务的数据从所述每个出口算子输出。

结合第一方面，在第一种可能的实现方式中，所述接收所述业务的数据之后，所述方法还包括：

在所述业务的数据中为所述每个迭代环设置对应的已迭代次数标识位；

所述根据所述每个算子所承载的部分处理逻辑对所述业务的数据进行处理，在根据每个出口算子的部分处理逻辑，确定到所述业务的数据的迭代次数已达到所述每个出口算子所在的迭代环的迭代次数时，则将所述业务的数据从所述每个出口算子输出，具体包括：

对于每个迭代环，当所述业务的数据在所述每个迭代环中进行一次迭代处理时，在所述每个迭代环的出口算子处对所述每一个迭代环对应的已迭代次数的标识位上加1；

当所述每一个迭代环对应的已迭代次数标识位所指示的已迭代次数与所述每一个迭代环对应的迭代次数相等时，从所述每一个迭代环的出口算子处输出所述每一个迭代环迭代处理后的所述业务的数据。

结合第一方面第一种可能的实现方式，在第二种可能的实现方式中，所述从所述每一个迭代环的出口算子处输出所述每一个迭代环迭代处理后的所述业务的数据之后，所述方法还包括：

将所述每一个迭代环对应的已迭代次数的标识位的已迭代次数归零。

结合第一方面、第一方面第一种或第二种可能的实现方式，在第三种可能的实现方式中，所述方法还包括：

根据源算子的处理逻辑接收通知消息，所述源算子为所述流式计算应用模型中数据流走向上的第一个算子，所述通知消息中包含从所述源算子到达增量计算算子的路径信息，所述增量计算算子为参与增量计算的算子；

根据所述路径信息，将所述通知消息由所述源算子传递到所述增量计算算子，所述通知消息是所述主控节点在到达所述增量计算算子的触发时间时发送的，所述增量计算算子的触发时间为：所述定时器完成对所述增量计算算子对应的增量计算时间值的定时统计时间点；