[发明专利]基于可伸缩集群的智能化大数据实训方法及系统

说明书

本发明提供一种基于可伸缩集群的智能化大数据实训方法及系统。实训系统包括管理模块、内容教学模块以及评测模块；管理模块实现对脚本模板管理，大数据实训所依赖作为执行环境的Docker基础镜像的管理以及实训系统运行过程所有数据集的管理；内容教学模块用于实训导师创建实训模型，同时实现实训学员与实训系统的交互；评测模块用于实现实训系统的任务管理，容器生命周期管理，资源管理以及存储管理。本发明提出了导师编写实训，学员学习实训，学员挑战实训的教学机制，实现了“教—学—用”的有机统一。此外，利用Kubernetes的易扩展特性，在学员挑战实训的过程中，可以根据后台负载情况，实现集群的动态调整，保证了资源的合理高效使用。

技术领域

本申请涉及大数据实训技术领域，特别是涉及一种基于可伸缩集群的智能化大数据实训方法及系统。

背景技术

随着大数据时代的到来，互联网信息产业迎来了新一轮的发展高潮，大数据已经渗透到当今各个行业和业务功能区域，成为一个重要的生产要素。随之，市场上对大数据人才的需求量日渐增长，根据2018年6月的大数据人才报告，全国只有46万个大数据人才，未来3-5年人才缺口将高达150万。由此可见，大数据人才培养问题是现阶段大数据发展亟待解决的问题。

目前，诸多在线教育平台和机构都设立了大数据技术模块，侧重关注对于大数据技术的教授和实验练习，这些平台的基本思路是通过视频或者文字讲授的方式拆解一门技术，循序渐进的引导学员进行学习和实验。典型的平台包括MOOC平台，实验楼等。MOOC平台以讲师视频授课的形式存在，一个系列的课程比如被分成多个小节，每个小节从几十分钟到几个小时不等，通常讲述一个知识点或者本门技术的一个特性，一门课程结束后通常会辅以课后的练习作业，并提供相应的讨论区模块供学员讨论交流。实验楼是近几年兴起的一种比较新颖的模式，侧重实验，其工作区域分为左右两个模块，左侧为本实验的相关知识和实验内容，右侧为模拟实验区域，学员在学习和了解相关知识之后，通过实验楼提供的在线Linux系统作为基础实验环境进行试验，在实验过程中，学员可以记录笔记和截图，作为其实验报告内容。

上述提及的两种教育模式能够教授学员大数据技术领域的基本知识，基本原理，但是缺乏对于学员的复杂工程能力和实际解决问题的能力的训练，学员在学习过程中掌握的知识点，难以得到评估和巩固，与实际工程运用接轨尚存在一定的距离。

因此，如何为学员提供一种新的在线学习和测评方法，对大数据技术的“教—学—用”进行有机统一，帮助学员深刻地理解大数据技术，培养学员的大数据分析能力和工程能力，是目前大数据技术在线教育需要关注的重要问题，也是解决大数据人才供不应求问题的关键所在。

发明内容

针对现有技术存在的不足，本发明提供一种基于可伸缩集群的智能化大数据实训方法及系统。基于高度可扩展的实训集群提供时下火热的各类大数据技术的实训，实现“教—学—用”的结合，有助于帮助学员迅速培养大数据分析能力以及工程能力。

基于可伸缩集群的智能化大数据实训系统，包括管理模块、内容教学模块以及评测模块；

管理模块实现对脚本模板管理，大数据实训所依赖作为执行环境的Docker基础镜像的管理以及实训系统运行过程所有数据集的管理；

内容教学模块用于实训导师创建实训模型，同时实现实训学员与实训系统的交互；

评测模块用于实现实训系统的任务管理，容器生命周期管理，资源管理以及存储管理。

本发明中，所述管理模块包括脚本模板管理模块，Docker Registry管理模块及数据仓库管理模块。

脚本模板管理模块为每一技术类型的实训提供对应脚本模板的网页端管理接口。