[发明专利]基于敏捷数据仓库的运维系统及方法

权利要求书

1.基于敏捷数据仓库的运维系统，其特征在于：包括 基建管理单元（100）、运维作业单元（200）、异常管理单元（300）和 定期任务单元（400）；所述基建管理单元（100）、所述运维作业单元（200）、 所述异常管理单元（300）与所述定期任务单元（400）依次通过网络通信连接； 所述基建管理单元（100）用于对支撑系统运行的基建设备进行集中的连接管 控；所述运维作业单元（200）用于对数仓的日常运维工作进行作业分配和管 理；所述异常管理单元（300）用于对数仓及系统运行过程中的异常情况进行 监测并进行故障处理操作；所述定期任务单元（400）用于通过程序设定定期 的任务对数仓的运维工作进行完善和补充； 所述基建管理单元（100）包括数据仓库模块（101）、运维终端模块（102）、 工具管理模块（103）和用户管理模块（104）； 所述运维作业单元（200）包括数据检查模块（201）、数库检查模块（202）、 ETL 处理模块（203）和异常处理模块（204）； 所述异常管理单元（300）包括备份系统模块（301）、故障监测模块（302）、 业务转移模块（303）和隔离自愈模块（304）； 所述定期任务单元（400）包括数据备份模块（401）、运维日志模块（402）、 系统重启模块（403）和总结统计模块（404）。

2.根据权利要求 1 所述的基于敏捷数据仓库的运维系统，其特征在于： 所述数据仓库模块（101）、所述运维终端模块（102）、所述工具管理模块（103） 与所述用户管理模块（104）依次通过网络通信连接；所述数据仓库模块（101） 用于根据业务需求按照常规流程搭建敏捷数据仓库的架构体系并正常投入使 用；所述运维终端模块（102）用于在数仓架构基础上增设部分终端设备以承 载运维系统的软件平台来支撑运维工作；所述工具管理模块（103）用于通过 开发工具开发软件自动化管理平台并载入多种敏捷运维工具来满足数仓运维 的需求；所述用户管理模块（104）用于给用户提供访问系统的通道并根据用 权 利要 求 书 2 户的身份开放相应的操作权限。

3.根据权利要求 2 所述的基于敏捷数据仓库的运维系统，其特征在于： 所述工具管理模块（103）包括自动部署模块（1031）、数据扩容模块（1032）、 资源调配模块（1033）和配置下发模块（1034）；所述自动部署模块（1031）、 所述数据扩容模块（1032）、所述资源调配模块（1033）与所述配置下发模块 （1034）依次通过网络通信连接；所述自动部署模块（1031）用于通过软件自 动化管理使敏捷运维工具在平台上完成自动化部署，并通过工具实现数仓业 务的快速自动部署；所述数据扩容模块（1032）用于通过在敏捷运维软件工具上做业务部署来实现数据中心的扩容操作，不需关注数仓基础架构的实现，也 不需增加运维人员，并可以增强运维工具的监控效果；所述资源调配模块 （1033）用于通过各敏捷软件工具之间的自动互联互通来快速进行底层的资 源调配；所述配置下发模块（1034）用于通过软件自动下发系统的底层资源调 配及网络配置。

4.根据权利要求 3 所述的基于敏捷数据仓库的运维系统，其特征在于： 所述资源调配模块（1033）中，资源调配过程中采用作业优先级算法，其计算 公式为： 𝑃𝑗 [𝑖] = 𝑃𝑜[𝑖] + 𝑁 ∗ 𝑇𝑤𝑎𝑖𝑡； 其中，𝑃𝑜 [𝑖]为作业提交时指定的优先级，𝑇𝑤𝑎𝑖𝑡为作业在队列中等待的时 间，𝑁为常数因子，随着等待时间的增加，作业优先级动态的增加，直到增加到阈值，即最高优先级。