[发明专利]一种基于工作流的高可配分布式实时计算引擎及控制方法

说明书

技术领域

本发明涉及一种信息处理技术领域，尤其是涉及一种支持高并发、实时性、高可靠性的基于工作流的高可配分布式实时计算引擎及控制方法。 

背景技术

随着信息产业及计算机技术的发展，新兴业务的规模飞速增长，如铁道部的订票系统、阿里淘宝的订单系统，每天处理数以亿记的请求，甚至每秒请求数都可能过百万；又如搜索引擎，同样需要响应大规模请求，而且每次请求都需要在TB级数据中检索出用户想要的结果。又如电力、交通、通讯等系统，需要高可靠性，不间断提供服务，业务中断将会带来巨大的损失。

现在常见的开源Hadoop分布式中，主要面向静态数据（如文件、数据库），对于流式数据缺乏支持，另外各个工作环节无法完美协调工作，一般通过中间数据交互；并且Hadoop安装部署比较复杂；开发语言为java，对实时性的支持比较差。 

发明内容

本发明主要是解决现有技术中一些数据处理系统并不能很好支持高并发、实时性、高可靠性的问题，提供了一种支持高并发、实时性、高可靠性的基于工作流的高可配分布式实时计算引擎。

本发明还提供了一种支持高并发、实时性、高可靠性的基于工作流的高可配分布式实时计算引擎控制方法。

本发明的上述技术问题主要是通过下述技术方案得以解决的：一种基于工作流的高可配分布式实时计算引擎，包括工作流管理器、工作单元监视器和若干工作单元，所述工作单元分别连接在一个通讯适配器上，且所述的工作流管理器和工作单元监视器也分别连接在通讯适配器上；

工作单元：每个工作单元包括有若干用于处理数据的工作进程，根据处理数据的形式，工作单元设置不同功能，各工作单元之间通过组合，构成处理大规模并发或实时性形式的数据处理结构；

工作单元监视器：监视各工作单元上工作进程的运行状态，并反馈给工作流管理器；

工作流管理器：配置、起停、调度和管理工作流数据，并根据工作单元监视器反馈的信息，对工作单元上工作进程进行调度。

本发明通过工作流管理器、工作单元监视器和工作单元共同组成了一个工作流管理、运行、调度的分布式计算核心，能够有机组织各个工作单元及工作单元上的工作流程，使得能很好地支持大规模并发和实时性数据处理，并具有高可用性。本发明中工作流为处理某种业务的完整工作流程。工作单元为处理工作流中的一个环节。通讯适配器负责在各种操作系统上本机或跨主机进程间的通讯。

作为一种优选方案，当为处理大规模并发数据结构时，工作单元包括一个输入工作单元和若干处理数据的第一处理工作单元，每个第一处理单元包括处理特定数据的工作进程，输入工作单元分别与各第一处理单元相连接；或者工作单元包括一个输入工作单元和一个处理数据的第二处理工作单元，输入工作单元与第二处理工作单元连接，处理工作单元包括多个分别处理数据的工作进程；

当为处理实时性数据结构时，工作单元包括一个用于拆分任务的拆分工作单元、一个用于合并任务的合并工作单元、若干处理任务数据的第三处理工作单元，这些第三处理工作单元并联在拆分工作单元和差分工作单元之间。工作单元根据需求可以分成不同功能，或是包含不同的工作进程，各工作单元之间再进行串并联组合成用于处理大规模并发或实时性形式数据的结构。第一工作单元包括处理特定数据的工作进程表示该工作单元只能处理一种数据，多个第一工作单元分别处理不同数据，分工进行处理，输入工作单元在分配数据时，将各数据进行分类，分别分配给对应的第一处理工作单元。第二处理工作单元包括多个分别处理数据的工作进程，这些工作进程每个都可以对数据进行处理，而第二处理工作单元将数据随机分配给各个工作进程。第三处理工作单元包括多个处理数据的工作进程，这些工作进程每个都可以对数据进行处理，第三处理工作单元将数据平均分配给各个工作进程。

作为一种优选方案，还包括有操作系统适配器和实时库适配器，操作系统适配器和实时库适配器分别连接在通讯适配器。操作系统适配器用于与不同操作系统接口连接，实时库适配器用于和实时库连接，进行存取访问。

一种基于工作流的高可配分布式实时控制方法，包括大规模并发和实时性处理步骤；

大规模并发处理步骤包括静态处理步骤和动态处理步骤，

静态处理步骤：工作流管理器将数据分配给输入工作单元，输入工作单元对数据进行分类，然后将每类数据分配给对应处理该类数据的第一处理工作单元；

动态处理步骤：工作管理器将数据分配给输入工作单元，输入工作单元将数据发送给一个第二处理工作单元，处理工作单元将任务随机分配给若干工作进程进行处理；