[发明专利]基于Docker容器的大数据集群自动配置方法及装置

说明书

本发明提供一种基于Docker容器的大数据集群自动配置方法及装置。所述方法包括：在每个Docker容器创建时将自身的主机名和IP地址注册到外部域名系统DNS中；利用变量注入方式将Docker容器域名写入每个Docker容器的环境变量；利用Docker容器提供的EntryPoint功能执行模板替换程序；读取每个Docker容器的环境变量进行大数据组件的配置。本发明能够为用户提供一个“免配置”的大数据集群，即分配给用户的容器里的大数据集群不再需要后续的任何配置即可以使用。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于Docker容器的大数据集群自动配置方法及装置。

背景技术

传统大数据实训系统因其面向的多为大数据初学者，目的在于普及大数据相关的基础知识，如果为每个用户分配几台物理机会耗费巨大，资源也无法充分地利用，因此主流的大数据实训系统目前为用户提供的实训环境往往是基于多租户或者虚拟机的方式。多租户的方式即在一个大数据集群环境下为每个用户开通单独的Linux系统账户，利用Linux系统自身的多用户多任务特性满足不同用户的同时使用要求。但是这种方式隔离性差，用户在使用运行大数据集群时很容易产生数据间的干扰，因此这种技术已经渐渐淘汰。虚拟机的方式则是为每个用户单独分配几台虚拟机，这几台虚拟机为该用户独享，在隔离性方面比多租户方式要好，但是宿主机的性能损耗比较大，而且对网络部署的要求也比较高。

随着容器技术的发展，在容器环境里搭建大数据集群从而进行教学实训渐渐成为实训平台厂商的主流技术选择。与虚拟机相比，容器除了同样具有较好的隔离性外，还具有启动速度快、资源利用率高、性能开销小等优点。

目前在容器中运行大数据集群，通常的实现方式是将大数据组件预置到容器镜像里，大数据组件的配置文件都为初始配置，也就是说运行在不同容器里的大数据组件之间并没有任何的联系，并不在同一个大数据集群里。之所以不能在镜像里就将大数据组件的配置文件配置好是因为容器的创建是动态的，在容器被成功创建并运行之前，IP等信息是不确定的。在全部容器启动后用户需要登陆到每一个容器里根据容器集群的具体信息(IP、端口号、主机名等用于大数据组件通信的信息)进行手动配置。当然，也可以通过检测容器启动状态，当发现所有的容器都正常启动后，再运行一个外部程序，分别到每个容器上进行配置，这样虽然免去了用户手动配置的烦恼，但是实现逻辑上比较复杂，需要额外的监控程序和配置程序。

发明内容

为了解决上述技术问题，本发明提供了一种基于Docker容器的大数据集群自动配置方法及装置，能够为用户提供一个“免配置”的大数据集群，即分配给用户的容器里的大数据集群不再需要后续的任何配置即可以使用。

第一方面，本发明提供一种基于Docker容器的大数据集群自动配置方法，所述方法包括：

在每个Docker容器创建时将自身的主机名和IP地址注册到外部域名系统DNS中；

利用变量注入方式将Docker容器域名写入每个Docker容器的环境变量；

利用Docker容器提供的EntryPoint功能执行模板替换程序；

读取每个Docker容器的环境变量进行大数据组件的配置。

可选地，所述读取每个Docker容器的环境变量进行大数据组件的配置包括：

利用环境变量与模板文件中变量同名的命名规则进行大数据组件的配置文件更新。

可选地，所述Docker容器域名时利用预设的命名规则进行定义的。

第二方面，本发明提供一种基于Docker容器的大数据集群自动配置装置，所述装置包括：

注册模块，用于在每个Docker容器创建时将自身的主机名和IP地址注册到外部域名系统DNS中；