[发明专利]基于Web数据交互管理Hive的方法及其系统

权利要求书

1.基于Web数据交互管理Hive的方法，其特征在于，包括以下步骤：

登录Web管理页面，创建任务，对任务进行分组，创建任务组；

到达指定时间激活任务，由任务组类型选择器读取待执行的任务组信息，根据任务组的属性选择特定的任务组执行器；

任务组执行器执行任务组内的子节点任务；

实时记录任务、任务组的详细日志信息；

所述登录Web管理页面，创建任务，对任务进行分组，创建任务组的步骤，包括以下具体步骤：

登录Web管理页面，填写任务名称、任务介绍以及上传任务要执行的脚本；

对任务进行分组，形成任务组，并选择每个任务组的任务的执行模式是顺序执行模式或者随机执行模式；

若选择本组任务顺序执行，定义任务组内各子节点任务的顺序；

所述对任务进行分组，形成任务组，并选择每个任务组的任务的执行模式是顺序执行模式或者随机执行模式的步骤，对任务进行分组，应该按照以下三点的原则来分组：相同的业务需求的任务内容可以放入一个分组；任务组内的任务列表需要具有相同的执行模式；任务组内的任务列表具有相同的执行周期；

在分组时，任务组内的任务列表，以树状结构进行组织，以树的层级作为执行的优先级判断条件，相同层级的任务将采用随机执行，不同层级的任务采用顺序执行，顺序执行时需要父节点任务执行完成才能执行子节点的任务，并且当父节点出错的时候将不会执行子节点的任务；

Web管理页面中，增加设置随机执行的并行数，并行数设置一个上限。

2.根据权利要求1所述的基于Web数据交互管理Hive的方法，其特征在于，所述到达指定时间激活任务，由任务组类型选择器读取待执行的任务组信息，根据任务组的属性选择特定的任务组执行器的步骤，包括以下具体步骤：

到达指定时间激活任务，任务组类型选择器读取解析任务组的信息和组内的子节点任务列表，生成一个任务列表；

任务组类型选择器执行所需要的脚本文件通过FTP上传到指定的Hive服务器；

任务组类型选择器根据任务列表树信息开始调用任务执行器，执行任务组中的子节点任务。

3.根据权利要求1所述的基于Web数据交互管理Hive的方法，其特征在于，所述任务组执行器执行任务组内的子节点任务的步骤中，还包括调用Ant远程登录主机，并执行Hive任务组内的任务。

4.根据权利要求1至3任一项所述的基于Web数据交互管理Hive的方法，其特征在于，所述任务组执行器执行任务组内的子节点任务的步骤，包括以下具体步骤：

判断任务组选择的执行模式是否是顺序执行模式；

若任务组选择的执行模式是顺序执行模式，按照设置的顺序执行任务组内的各个子节点任务；

若任务组选择的执行模式不是顺序执行模式，随机执行任务组内的各个子节点任务。

5.根据权利要求4所述的基于Web数据交互管理Hive的方法，其特征在于，所述若任务组选择的执行模式是顺序执行模式，按照设置的顺序执行任务组内的各个子节点任务的步骤，还包括判断顺序执行是否成功，若顺序执行成功，继续执行下一个子节点任务，直至全部子节点任务执行完成；若顺序执行失败，终止此任务组的子节点任务执行，并标志为该任务组此次执行失败。

6.根据权利要求4所述的基于Web数据交互管理Hive的方法，其特征在于，所述若任务组选择的执行模式不是顺序执行模式，随机执行任务组内的各个子节点任务的步骤，具体的，不管任务组内某一子节点任务是执行成功或是失败，仍然继续执行下一个子节点任务，直到全部子节点任务执行完毕。

7.根据权利要求1至3任一项所述的基于Web数据交互管理Hive的方法，其特征在于，所述实时记录任务、任务组的详细日志信息的步骤之后，还包括每隔一定时间监控并分析新产生的错误日志，判断是否有错误，若发现有错误，则立即发送邮件通知管理者，并将此错误日志转移至历史的错误日志数据中。

8.基于Web数据交互管理Hive的系统，其特征在于，包括Web管理单元、任务组类型选择器、任务组执行器以及记录单元；

所述Web管理单元，用于登录后创建任务，对任务进行分组，创建任务组，与所述任务组类型选择器连接；

所述任务组类型选择器，用于到达指定时间激活任务，由读取待执行的任务组信息，根据任务组的属性选择特定的任务组执行器，与所述任务组执行器连接；

所述任务组执行器，用于执行任务组内的子节点任务，与所述记录单元连接；

所述记录单元，用于实时记录任务、任务组的详细日志信息；

所述任务组类型选择器包括读取模块、上传模块以及调用模块；

所述读取模块，用于读取解析任务组的信息和组内的子节点任务列表，生成一个任务列表，与所述上传模块连接；

所述上传模块，用于执行所需要的脚本文件通过FTP上传到指定的Hive服务器，与所述调用模块；

所述调用模块，用于根据任务列表树信息开始调用任务执行器，执行任务组中的子节点任务；

所述任务组执行器包括判断模块、顺序执行模块以及随机执行模块；

所述判断模块，用于判断任务组选择的执行模式是否是顺序执行模式，与所述调用模块连接；

所述顺序执行模块，若任务组选择的执行模式是顺序执行模式，用于按照设置的顺序执行任务组内的各个子节点任务，分别与所述判断模块与所述记录单元连接；

所述随机执行模块，若任务组选择的执行模式不是顺序执行模式，用于随机序执行任务组内的各个子节点任务，与所述判断模块以及所述记录单元连接；

所述对任务进行分组，形成任务组，并选择每个任务组的任务的执行模式是顺序执行模式或者随机执行模式的步骤，对任务进行分组，应该按照以下三点的原则来分组：相同的业务需求的任务内容可以放入一个分组；任务组内的任务列表需要具有相同的执行模式；任务组内的任务列表具有相同的执行周期；

在分组时，任务组内的任务列表，以树状结构进行组织，以树的层级作为执行的优先级判断条件，相同层级的任务将采用随机执行，不同层级的任务采用顺序执行，顺序执行时需要父节点任务执行完成才能执行子节点的任务，并且当父节点出错的时候将不会执行子节点的任务；

Web管理页面中，增加设置随机执行的并行数，并行数设置一个上限。