[发明专利]一种分布式计算引擎使用动态用户访问S3对象存储的方法及装置

说明书

本发明提供了一种动态用户访问S3对象存储的方法及装置，包括：用户体系映射配置库管理单元、计算引擎与配置库连接单元、S3用户信息获取单元、访问S3服务用户身份动态更改单元。采用计算引擎用户体系与S3对象存储用户体系映射的方式，在用户登录hive/spark计算引擎，使用外部表访问S3数据时，自动获取登录用户信息，在连接S3对象存储服务时，动态修改连接身份信息，解决了只能在配置文件配置固定用户的问题，并且满足了修改S3用户身份配置时，不重启服务自动生效的要求，大大提升计算引擎访问对象存储数据的灵活性、动态性、安全性和可用性，保证hive/spark计算引擎服务的稳定运行，为对象存储多场景下的数据利用提供有效支撑。

技术领域

本发明涉及数据存储技术领域，特别涉及一种动态用户访问S3对象存储的方法及装置。

背景技术

对象存储是基于一种分布式存储的开放服务，在大数据领域得到非常广泛的应用，用于存储未经处理的原始数据，包括结构化数据、图片、文档、音视频等全数据形态数据。

S3是一种广泛用于构建数据糊平台的底层数据对象存储的引擎，当前大数据离线批量处理技术已经趋于稳定成熟，其中hive/spark已经是业界作为离线批量数据处理的事实标准，是一种支持多租户多用户的计算引擎。作为分布式计算引擎，其可以使用HDFS块文件分布式存储系统，也可以使用S3分布式对象文件存储系统等多种数据源，为其进行业务计算提供数据来源。

因为HDFS和hive/spark同属hadoop体系，拥有相同的用户体系和权限管理方式，采用操作系统的用户或使用环境变量设置访问用户，是一种弱用户权限的方式，很容易做到登录hive/spark的用户，与访问HDFS数据文件的用户统一，形成一致的用户权限。但是S3对象文件存储系统，是一套独立于hadoop体系的大数据存储框架，拥有自己独立用户体系和权限集，并且是强权限的访问控制，每个用户访问数据文件都要带上用户身份标识，只能访问有权限的数据。

并且，访问中只能以固定的S3用户访问S3的数据文件，在支持多租户多用户的分布式计算引擎中，存在严重的数据安全风险，丧失了S3的多用户强权限管理的优势能力，严重影响用户使用服务的体验。

发明内容

本发明的目的在于提供一种分布式计算引擎使用动态用户访问S3对象存储的方法及装置，以解决上述背景技术中提出的问题。

为了解决上述技术问题，本发明提供了一种动态用户访问S3对象存储的方法，采用计算引擎用户体系与S3对象存储用户体系映射的方式，在用户登录hive/spark计算引擎，使用外部表访问S3数据时，自动获取登录用户对应的S3用户信息、动态修改连接身份信息。

为了达到上述目的，本发明采用如下技术方案：

创建连接所述配置库线程，连接所述配置库，返回所述连接信息正常状态，打开连接所述配置库接口，所述连接信息存入连接池中。

配置hive/spark用户与S3用户的映射关系；获取配置库的连接信息，打开所述配置库接口；解析当前登录的用户信息，获取S3用户的身份信息与映射关系；拦截外部表访问S3对象存储服务配置库接口；更改所述S3用户身份信息，所述外部表继续访问所述S3对象存储服务。

在连接所述配置库中，返回所述连接信息异常状态，抛出所述异常状态，退出启动所述hive/spark服务。

验证所述登录信息，解析登录用户ID，基于所述登录用户ID返回所述S3用户映射信息，并将S3用户信息写入hive/spark缓存。

进一步的，所述S3用户信息包括：账号、fs.s3n.awsAccessKeyId、fs.s3n.awsSecretAccessKey。