[发明专利]一种实现ETL调度的方法及系统

权利要求书

1.一种数据抽取、转换和加载ETL调度的实现方法，其特征在于，包括：

根据预设的任务配置文件确定当前需要执行的至少一个任务，所述任务配 置文件包括完成ETL调度所需执行的各任务，以及各任务之间的依赖关系， 所述任务为原子级的任务，为ETL调度针对的后台程序；

获取各应用服务器的资源信息，并将所述资源信息与针对所述至少一个任 务预设的限定条件进行比较，获得比较结果，所述资源信息包括应用服务器当 前执行的进程数、应用服务器当前数据库表内剩余的存储空间和应用服务器当 前的CPU使用率中的一种或任意组合；

根据所述比较结果对各应用服务器进行筛选，若确定存在符合预设的限定 条件的应用服务器，选定用于执行所述至少一个任务的应用服务器；若确定不 存在符合预设的限定条件的应用服务器，则将所述至少一个任务保存至缓冲池 中，定时提取所述至少一个任务，并判断当前是否存在符合所述限定条件的应 用服务器，并在确定存在符合所述限定条件的应用服务器时，选定用于执行所 述至少一个任务的应用服务器；

将所述至少一个任务分配至选定的应用服务器，并指示该应用服务器根据 设定的程序代码执行所述至少一个任务。

2.如权利要求1所述的方法，其特征在于，对各应用服务器进行筛选时， 若确定存在两个或两个以上符合所述限定条件的应用服务器，则从中随机选定 一个应用服务器。

3.如权利要求1所述的方法，其特征在于，所述至少一个任务在缓冲池中 保存的时间长度超过设定阈值时，将所述至少一个任务终止或挂起。

4.如权利要求1-3任一项所述的方法，其特征在于，指示选定的应用服 务器根据设定的程序代码执行分配到的至少一个任务时，从指定存储位置获取 执行所述至少一个任务所需的程序代码并将该程序代码发送至选定的应用服 务器，或者，将所述程序代码的指定存储位置通知选定的应用服务器，由该选 定的应用服务器自行获取。

5.如权利要求4所述的方法，其特征在于，接收到所述选定的应用服务 器返回的所述至少一个任务的执行结果后，根据所述任务配置文件确定存在依 赖所述至少一个任务的另一任务时，指示触发所述另一任务的执行流程。

6.一种管理系统，其特征在于，包括：

知识库单元，用于保存任务配置文件、针对各任务预设的限定条件和执行 各任务时所需的程序代码，所述任务配置文件包括完成数据抽取、转换和加载 ETL调度所需执行的各任务之间的依赖关系，所述任务为原子级的任务，为 ETL调度针对的后台程序；

控制单元，用于对各应用服务器的运行状态进行监测，获得各应用服务器 的资源信息，所述资源信息包括应用服务器当前执行的进程数、应用服务器当 前数据库表内剩余的存储空间和应用服务器当前的CPU使用率中的一种或任 意组合；

调度单元，用于解析所述任务配置文件以确定当前需要执行的至少一个任 务，并指示代理单元执行所述至少一个任务；

代理单元，用于从所述控制单元获取各应用服务器的资源信息，从所述知 识库单元获取针对所述至少一个任务预设的限定条件，并将两者进行比较，获 得比较结果，以及根据所述比较结果对各应用服务器进行筛选，若确定存在符 合预设的限定条件的应用服务器，选定用于执行所述至少一个任务的应用服务 器，并将所述至少一个任务分配至选定的应用服务器，指示该应用服务器根据 设定的程序代码执行所述至少一个任务；若确定不存在符合预设的限定条件的 应用服务器，则将所述至少一个任务保存至缓冲池中，定时提取所述至少一个 任务，并判断当前是否存在符合所述限定条件的应用服务器，并在确定存在符 合所述限定条件的应用服务器时，选定用于执行所述至少一个任务的应用服务 器，并将所述至少一个任务分配至选定的应用服务器，指示该应用服务器根据 设定的程序代码执行所述至少一个任务。

7.如权利要求6所述的管理系统，其特征在于，所述定时处理单元确定 所述至少一个任务在缓冲池中保存的时间长度超过设定阈值时，将所述至少一 个任务终止或挂起。