[发明专利]基于k8s多租户的Juypter Notebook代码远端存储方法及装置

说明书

本申请公开了一种基于k8s多租户的Juypter Notebook代码远端存储方法及装置，所述方法包括以下步骤：获取S3存储客户端实例；使用所述S3存储客户端实例，基于S3协议实现自定义Contents Manager接口，进而实现Juypter Notebook存储接口；功能部署。通过本申请，采取Notebook代码文件直接远端存储的方案，文件直接存储在远端存储中，数据脱离Notebook独立保存，从而实现数据的持久化存储。

技术领域

本发明涉及的是机器学习技术领域。更具体的说，本发明涉及一种基于k8s多租户的Juypter Notebook代码远端存储方法及装置。

背景技术

Juypter Notebook是机器学习领域内广泛应用的浏览器端开发环境。JuypterNotebook常用的部署方式可分为实体机部署和基于k8s的容器化部署。在k8s(Kubernetes，一种开源的容器编排引擎)环境中，Notebook容器常作为模型开发和训练环境。

在k8s环境中，默认情况下k8s容器不支持数据存储持久化，即在Notebook容器异常退出或主动退出后代码数据存在丢失风险。当前，要实现数据持久化存储可采用外部数据卷挂载的方式实现。在此实现方式中，当新用户启动Notebook环境时，需要新开辟数据卷并进行数据卷挂载，此时，Notebook环境可将数据卷存储视为本地存储环境直接操作，开发的代码数据也可直接保存在数据卷中。因此，容器发生异常时，由于数据已经保存在外部数据卷中，可做到数据的持久化存储。

在上述实现方案中仍存在不足，若存在需要新用户接入或新开Notebook时，需要频繁的人工介入操作，操作流程为新建外部数据卷，并在Notebook启动时进行挂载操作，耗费人力。此外，若为了实现重复新建数据卷的操作则需使用相同数据卷挂载，此时会存在数据隐私问题。使用相同数据卷的Notebook容器中，数据卷中代码数据为完全可见，这样就无法做到用户数据隔离，同时也存在多人同时修改同一代码文件的风险，造成代码文件数据损坏或代码运行结果异常。

发明内容

本申请实施例提供了一种基于k8s多租户的Juypter Notebook代码远端存储方法，以至少解决相关技术中主观因素影响的问题。

本发明提供了一种基于k8s多租户的Juypter Notebook代码远端存储方法，所述方法包括以下步骤：

实例化步骤：获取S3存储客户端实例；

接口实现步骤：使用所述S3存储客户端实例，基于S3协议实现自定义ContentsManager接口，进而实现Juypter Notebook存储接口。

作为本发明的进一步改进，所述实例化步骤具体包括以下步骤：

信息获取步骤：获取S3存储的认证信息；

路径生成步骤：根据所述认证信息填写对应的所述Contents Manager S3存储信息字段，同时获取所述Juypter Notebook中环境变量中用户名和环境标签，并组合所述用户名和所述环境标签生成存储路径名称。

作为本发明的进一步改进，所述认证信息包括但不限于：access key、secretkey、endpoint、存储空间信息。

作为本发明的进一步改进，所述认证信息可通过所述Juypter Notebook中引入config代码获取。

作为本发明的进一步改进，所述接口实现步骤具体包括以下步骤：

初始化过程：初始化所述S3存储客户端实例；

文件编写步骤：初始化后，实现所述Juypter Notebook操作ipynb文件的相关接口，编写setup.py文件。