[发明专利]一种基于工作流的高可配分布式实时计算引擎及控制方法

权利要求书

1.一种基于工作流的高可配分布式实时计算引擎，其特征在于：包括工作流管理器（1）、工作单元监视器（2）和若干工作单元（3），所述工作单元分别连接在一个通讯适配器（4）上，且所述的工作流管理器和工作单元监视器也分别连接在通讯适配器上；

工作单元：每个工作单元包括有若干用于处理数据的工作进程，根据处理数据的形式，工作单元设置不同功能，各工作单元之间通过组合，构成处理大规模并发或实时性形式的数据处理结构；

工作单元监视器：监视各工作单元上工作进程的运行状态，并反馈给工作流管理器；

工作流管理器：配置、起停、调度和管理工作流数据，并根据工作单元监视器反馈的信息，对工作单元上工作进程进行调度。

2.根据权利要求1所述的一种基于工作流的高可配分布式实时计算引擎，其特征是：

当为处理大规模并发数据结构时，工作单元包括一个输入工作单元（7）和若干处理数据的第一处理工作单元（8），每个第一处理单元包括处理特定数据的工作进程，输入工作单元分别与各第一处理单元相连接；或者工作单元包括一个输入工作单元（7）和一个处理数据的第二处理工作单元（9），输入工作单元与第二处理工作单元连接，处理工作单元包括多个分别处理数据的工作进程；

当为处理实时性数据结构时，工作单元包括一个用于拆分任务的拆分工作单元（10）、一个用于合并任务的合并工作单元（11）、若干处理任务数据的第三处理工作单元（12），这些第三处理工作单元并联在拆分工作单元和差分工作单元之间。

3.根据权利要求1或2所述的一种基于工作流的高可配分布式实时计算引擎，其特征是还包括有操作系统适配器（5）和实时库适配器（6），操作系统适配器和实时库适配器分别连接在通讯适配器（4）。

4. 一种基于工作流的高可配分布式实时引擎控制方法，采用权利要求3中的计算引擎，其特征是：包括大规模并发和实时性处理步骤；

大规模并发处理步骤包括静态处理步骤和动态处理步骤，

静态处理步骤：工作流管理器将数据分配给输入工作单元，输入工作单元对数据进行分类，然后将每类数据分配给对应处理该类数据的第一处理工作单元；

动态处理步骤：工作管理器将数据分配给输入工作单元，输入工作单元将数据发送给一个第二处理工作单元，处理工作单元将任务随机分配给若干工作进程进行处理；

实时性处理步骤包括：工作流管理器将数据分配给拆分工作单元，拆分工作单元将数据拆分成若干子数据，分发给若干第三处理工作单元并行处理，当所有子数据处理完成后则都发送给合并处理单元，由合并处理单元将子数据合并。

5.根据权利要求4所述的一种基于工作流的高可配分布式实时引擎控制方法，其特征是还包括对各工作单元的工作进程控制的步骤，其步骤包括：工作单元监视器监视每个工作单元的信息，信息包括队列数和处理速度，当某个工作单元数据增多，处理速度变慢时，工作单元监视器标记该工作单元状态为繁忙，并将该信息报告给工作流管理器，工作流管理器增加该工作单元的工作进程；当某个工作单元请求减少，工作单元监视器标记该工作单元状态为空闲，并将该信息报告给工作流管理器，工作流管理器减少该工作单元的工作进程；另外监视器还同时监视工作进程的异常状态，当某个工作进程出现异常时，工作单元监视器标记该工作单元为异常，并将该信息报告给工作流管理器，工作流管理器将数据发送到状态正常的工作进程，并在计算所需工作进程时，总是将异常的工作进程剔除。