[发明专利]一种数据处理流程的调度方法

说明书

技术领域

本发明涉及计算机流程处理领域，尤其是一种基于队列调度数据处理流程的方法。

背景技术

目前，数据处理流程调度采用的方法主要有基于模板、基于有限状态机以及基于Petri网三种调度方法。

基于模板的流程调度方法通过为各种类型的数据处理业务逻辑建立相应的模板，在调度具体数据处理流程实例时，寻找相匹配的模板，用实际流程涉及的节点来填充模板中对应的空位，从而实现流程的调度执行。此方法实现起来比较方便，有一定的灵活性，但由于模板固定了流程的流向逻辑，就需要为涉及的所有业务逻辑分别建立模板，当业务复杂多样时，模板数急剧增加，系统过于繁杂。

基于有限状态机的流程调度方法首先将数据处理流程的节点设置为有限状态机的主题，将主题所处的位置设置为有限状态机的状态，将流程中进行的操作动作设置为有限状态机的动作。通过动作触发有限状态机中状态的迁移，来实现流程的调度执行。由于灵活的状态迁移，在调度过程中引入调度自身的相关逻辑，能灵活的适应业务流程；但其缺点是任何时刻系统只能有一个状态，无法表示并发性，不能描述异步并发的系统。另外，在系统部件较多时，状态数随之增加，导致复杂性显著增长。

基于Petri网的流程调度方法中，Petri网是简单的过程模型，由库所和变迁两种节点以及有向弧和令牌组成。库所是Petri网中的被动因素，他们不能改变Petri网的状态，经常表示媒介、状态、阶段或条件；变迁是Petri网中的主动因素，通过实施变迁，从一个状态转变到另一个状态，因此变迁经常表示事件、操作或传输。两个库所或两个变迁之间不允许有弧，只能是库所到变迁或者是变迁到库所之间有弧。库所中可以拥有任意数量的令牌。如果一个变迁的每个输入库所都拥有令牌，该变迁即为被允许。一个变迁被允许时，变迁将发生，输入库所的令牌被消耗，同时为输出库所产生令牌。从而实现流程计算。基于Petri网的流程调度方法比较强大，可定义几乎所有的复杂流程过程，但由于模型概念比较复杂，对于非专业人员难于理解，用户培训成本比较高。

此外，现有的数据处理流程的调度方法中，大多数都是在执行完一个节点后，遍历所有未计算节点，来选取满足约束条件的节点，效率不是很高。

发明内容

为了克服现有技术方法复杂和效率不高的不足，本发明提供一种数据处理流程的调度方法，能够确保流程执行的高效完成。

本发明解决其技术问题所采用的技术方案包括以下步骤：

1)按照数据处理任务中基本数据处理操作的执行顺序连接各个计算节点，形成一个数据处理流程；所述的数据处理任务是由连续的基本数据处理操作组成，基本数据处理操作用来完成基本的算术运算、逻辑运算、条件运算和数值计算，每种基本数据处理操作由一个计算节点来完成；所述的计算节点的功能是读取外部输入数据，经过内部基本数据处理操作，得到结果数据；

2)读取数据处理流程所需的外部输入数据；

3)通过流程调度，对各个计算节点进行调度执行，具体包括以下步骤：

a)创建一个空的变长队列，把数据处理流程的开始节点的所有后继节点放入队列中，所述的后继节点是在数据处理流程中执行顺序在其之后的相邻节点；

b)从队列中，按先进先出的方式或基于优先级的方式选取一个节点；

c)执行此节点内部的数据处理操作，完成后将此节点从队列中移出；

d)若此节点有后继节点，继续执行下一步；否则，转步骤f)；

e)将数据处理结果传递给此节点的所有后继节点，每传递一次数据，判断此数据的后继节点是否其所有输入数据都已经到达。若是，则将此后继节点装入队列；否则，不将其放入队列。数据全部传完后，转步骤b)；

f)判断队列是否为空，若是，数据处理流程执行结束；否则，转步骤b)。

所述的先进先出的选取方式是每次从队列中取出位于队首的节点，所述的基于优先级的方式是每次从队列中取出优先级最高的节点。

所述数据处理流程还可以包含分支，流程的调度方法用一个内部基本数据处理操作是判断选择运算的节点来实现分支判断。