[发明专利]一种基于Kylo实现数据集成的自动化运营管理方法

说明书

技术领域

本发明属于计算机技术领域，涉及一种基于Kylo实现数据集成的自动化运营管理方法。

背景技术

x86服务器运行过程中会出现CATERR(Catastrophic Error，灾难性错误)或IERR(Internal Error，灾难性错误)，导致系统挂死，进而系统业务突然中断。由于CATERR死机故障发生后，很难得到完整的MCA(Machine Check Architecture，硬件故障检查架构)故障记录，另外即使收集到了MCA故障记录，根据大量的MCA寄存器数据无法快速准确地进行故障定位。

目前，对于CATERR或IERR故障定位的方法主要是依靠人工经验判断，或是运行诊断程序定位故障，或替换器件以确定发生故障的器件，都无法快速定位出故障。总之，现有技术对于CATERR或IERR引起的死机现象，故障定位的效率较低，严重影响用户体验。

发明内容

为克服现有技术所存在的缺陷，本发明提供一种基于Kylo实现数据集成的自动化运营管理方法，能够解决上述技术问题。

本发明要解决其技术问题所采用的技术方案是：设计一种基于Kylo实现数据集成的自动化运营管理方法，用户进入浏览器页面后通过HTTP(S)进入Kylo界面，所述的Kylo界面包括操作管理界面、流管理界面和服务请求网关，所述的服务请求网关通过HTTP(S)分别连接spark客户端和Kylo后端服务，所述的Kylo后端服务包括REST服务、JOB服务、元数据管理和Hive客户端，Hive客户端通过JDBC/Thrift连接大数据生态系统，大数据生态系统通过数据库连接NiFi，Hive客户端通过HTTP(S)连接REST接口，REST接口通过HTTP(S)连接NiFi，Kylo通过HTTP(S)向NiFi发送REST服务请求；NiFi箱JMS发送数据，JMS接收数据值Kylo后端服务。

优选的，所述的NiFi包括数据处理器、数据发布服务、Hive客户端、Spark客户端和HDFS客户端。

优选的，所述的大数据生态系统包括Spark内存计算引擎、Hive数据仓库和HDFS分布式文件系统。

本发明所具有的有益效果是：

1、本发明提供基于Kylo实现多种异构数据源的数据集成到大数据平台Hive数据仓库的可视化管理方法，支持离线与实时数据的全量、增量等多方式，包含数据传输交互，数据验证，数据转换过滤，数据存储过程，实现数据流管理，定时任务调度与监控告警的自动化的运营管理，有效的快速定位数据集成过程中的服务故障问题点，达到了整个数据流的各个节点全方位跟踪效果。本方法可以应用到异构数据源同步、数据回流分析、数据加工处理、数据字典管理、精细化运营的数据集成实战场景。

2、本发明通过Kylo的GUI界面，业务人员可以按照他们关心的方式来操作数据，包括:创建数据源、定义数据加载、数据预处理、转换，发布到目标系统。因为不需要部署任何代码，也不需要依赖IT部门，业务人员做到了对项目的完全掌控，从而极大的减少了类似项目所需的时间。对于有技术能力的数据科学家、数据管家及IT运营人员来说，Kylo提供包括元数据管理、合适的数据加载及类似Google的检索能力，可以为业务分析人员赋予不同的权限、提供随时可用的模板，帮助他们使用、监控并提升数据湖的服务SLA。

附图说明

图1是本发明Kylo的整体构架图。

具体实施方式

下面结合附图对本发明作进一步说明：

如图1所示，一种基于Kylo实现数据集成的自动化运营管理方法，用户进入浏览器页面后通过HTTP(S)进入Kylo界面，所述的Kylo界面包括操作管理界面、流管理界面和服务请求网关，所述的服务请求网关通过HTTP(S)分别连接spark客户端和Kylo后端服务，所述的Kylo后端服务包括REST服务、JOB服务、元数据管理和Hive客户端，Hive客户端通过JDBC/Thrift连接大数据生态系统，大数据生态系统通过数据库连接NiFi，Hive客户端通过HTTP(S)连接REST接口，REST接口通过HTTP(S)连接NiFi，Kylo通过HTTP(S)向NiFi发送REST服务请求；NiFi箱JMS发送数据，JMS接收数据值Kylo后端服务。

优选的，所述的NiFi包括数据处理器、数据发布服务、Hive客户端、Spark客户端和HDFS客户端。

优选的，所述的大数据生态系统包括Spark内存计算引擎、Hive数据仓库和HDFS分布式文件系统。