[发明专利]一种基于动态参数配置和过程监督的智能建模方法与系统

说明书

本发明提出了一种基于动态参数配置和过程监督的智能建模方法与系统。面向开发人员，提供可视化界面来动态编辑调整模型构建代码脚本的参数，使代码脚本运行随开发人员的主观意愿动态适配变化，由此构建训练出满足开发人员需要的智能模型；同时，通过代码脚本集成tensorboard的框架方法，启动一个监控服务，随模型构建训练的代码脚本的运行，记录其运行过程中一些关键数据信息和参数指标的变化，从而对智能建模的任务进行过程监督，方便开发人员根据模型训练过程中重要参数的变化情况来做出决策，重新调整脚本参数进行模型的二次训练构建。以上相互协作，相辅相成，使开发人员可以高效便捷地进行智能模型的构建。

技术领域

本发明属于深度学习构建神经网络领域，尤其涉及一种基于动态参数配置和过程监督的智能建模方法与系统。

背景技术

Docker是基于Go语言实现的开源容器项目，诞生于2013年年初，最初发起者是dotCloud公司。目前已有多个相关项目（包括Docker三剑客、Kubernates等），逐渐形成了围绕Docker容器的生态体系。Docker的构想是通过对应用的封装、分发、部署、运行生命周期进行管理，达到应用组件“一次封装，到处运行的目的”。这里的应用组件，既可以是一个Web应用、一个编译环境，也可以是一套数据库平台服务，甚至是一个操作系统或集群。基于Linux平台上的多项开源技术，Docker提供了高效、敏捷和轻量化的容器方案，并支持部署到本地环境和多种主流云平台。

Kubernetes（K8s）是Google公司开源的容器集群管理系统，主要功能包括：基于容器的应用部署、维护和滚动升级；负载均衡和服务发现；跨机器和跨地区的集群调度；自动伸缩；无状态服务和有状态服务；广泛的Volume支持；插件机制保证扩展性。Kubernetes系统最核心的两个设计理念：一个是容错性，一个是易扩展性。容错性实际是保证K8s系统稳定性和安全性的基础，易扩展性是保证K8s对变更友好，可以快速迭代增加新功能的基础。

深度学习（Deep Learning）是近年来兴起的机器学习范式，深度学习利用多层（深度）神经网络结构，从大数据中学习现实世界中各类事物能直接被用于计算机计算的表示形式（如图像中的事物、音频中的声音等），被认为是智能机器可能的“大脑结构”。在语音识别、图像识别、自然语言处理等研究领域，掀起了一次深度学习的热潮。在某些老问题上，它摧枯拉朽，颠覆了使用多年的方法，在另一些前沿问题中，它完全不同于先前的流行方法，却又展现了惊人的效果提升。神经网络是一个带参数的函数，通过调整参数，可以拟合不同的函数，而机器学习是一种让计算机自动调整函数参数以拟合想要的函数过程。多个带参数的函数可以进行嵌套，构成一个多层神经网络，能更好地拟合某些实际问题中需要的函数。深度学习的本质就是：使用多层神经网络进行机器学习。

Tensorflow是一种基于数据流编程的符号数学系统，应用于机器学习领域算法的编程实现。它拥有多级结构，可部署于各类服务器、PC终端和网页，并支持GPU和TPU高性能的数值计算，被广泛应用于智能产品研发和各领域的科学研究中。

对大部分人而言，深度神经网络就像一个黑盒子，其内部的组织、结构及训练过程都很难理清楚，这给深度神经网络的原理理解和工程化都带来了很大的困难，尤其是在智能模型训练过程中，对过程中深度神经网络构建变化、进度缺少一个直观的感知和认识。Tensorboard是tensorflow内置的一个可视化工具，它通过将tensorflow程序输出的日志文件信息可视化显示，使得对tensorflow程序的理解、运行和调试更加高效便捷。Tensorboard可视化依赖tensorflow程序运行时输出的日志文件，需要等到程序运行完毕获取该日志文件，目前这个过程跟整个模型训练过程是相互割裂的，无法做到对模型训练过程的实时监督。因此，能够动态的进行参数配置而且能够对整个智能建模过程进行可视化监督的方法将会有力的解决现有建模工作中遇到的弊端和不足，提高建模的效率和完成度。

发明内容