[发明专利]一种为数据中心提供多租户持久化任务记录的方法及系统

说明书

本发明公开一种为数据中心提供多租户持久化任务记录的方法及系统，涉及数据的访问存储技术领域；包括持久化存储设备、历史记录服务器及集群代理服务器，持久化存储设备对短暂运行集群关联的任务历史和/或日志文件进行持久化存储，集群代理服务器接收用户与任务有关信息的请求，判断所述的请求是否与终止的集群上处理或运行过的任务有关；若有关则将用户的请求定向到相应历史记录服务器，历史记录服务器通过访问持久化存储设备对用户提供用户请求的与任务有关信息的任务历史和/或日志文件信息。

技术领域

本发明公开一种方法及系统，涉及数据的访问存储技术领域，具体地说是一种为数据中心提供多租户持久化任务记录的方法及系统。

背景技术

通常，数据处理中心可以通过自动缩放降低成本，比如集群可以通过Yarn或Presto来管理并运行Spark，Tez，Map-Reduce，Presto-Query等任务的，并根据工作量需求和成本考虑，在不工作一段时间后自动关闭。节省成本的同时，却产生容易无法根据日志排查错误的问题，例如，一个正在运行的Hadoop集群因为一段时间内的不工作而关闭，JobHistory Server可能不再运行，导致用户无法从中得到能帮助排错的日志。

发明内容

本发明针对现有技术的问题，提供一种为数据中心提供多租户持久化任务记录的方法及系统，在数据中心被自动关闭的情况下，依然可以查询日志或历史记录，在一些情况下，系统包括可以被配置存储任务记录，配置以及集群日志文件的持久化存储设备(Persistence)；被配置用于响应日志或历史记录请求的结束任务的历史记录服务器(TerminatedJob History Server)；以及一个提供可以转发日志请求的代理层的集群代理服务器(Cluster Proxy)。

本发明提出的具体方案是：

一种为数据中心提供多租户持久化任务记录的系统，包括持久化存储设备、历史记录服务器及集群代理服务器，

持久化存储设备对短暂运行集群关联的任务历史和/或日志文件进行持久化存储，

集群代理服务器接收用户与任务有关信息的请求，判断所述的请求是否与终止的集群上处理或运行过的任务有关；若有关则将用户的请求定向到相应历史记录服务器，

历史记录服务器通过访问持久化存储设备对用户提供用户请求的与任务有关信息的任务历史和/或日志文件信息。

所述的系统中所述集群代理服务器将用户的请求定向到相应历史记录服务器前，对用户的请求执行授权操作。

所述的系统中集群代理服务器通过对比用户请求随附的服务器主机名称信息与集群节点信息完成用户请求的授权。

所述的系统中所述集群代理服务器对已被授权的用户请求执行认证操作，再将用户的请求定向到相应历史记录服务器。

所述的系统中所述集群代理服务器通过cookies来确定用户的请求是否来自一个已被授权的用户。

所述的系统中集群代理服务器具有图形用户界面。

所述的系统中集群代理服务器提供接口层，将终止的集群上处理或运行过的任务有关的用户的请求定向到相应历史记录服务器。

所述的系统中集群代理服务器解析历史记录服务器使用的任何链接，确认链接处于可用格式并参考存储在持久化存储设备中的参考数据。

一种为数据中心提供多租户持久化任务记录的方法：将短暂运行集群关联的任务历史和/或日志文件保存在持久存储设备中，

集群代理服务器接收用户与任务有关信息的请求，判断所述的请求是否与终止的集群上处理或运行过的任务有关；若有关则将用户的请求定向到相应历史记录服务器，