[发明专利]一种yarn支持混合运行时的方法

权利要求书

1.一种yarn支持混合运行时的方法, 其特征在于：包括以下步骤:

S1，构建数据处理服务器集群，首先构建若干数据处理服务器，且各数据处理服务器之间相互并联，并使各数据处理服务器通过智能网关与至少一个中继服务器建立数据连接，并构成数据处理服务器集群，同时为中继服务器分配至少一个Master节点，同时为中继服务器分配至少一个slave节点，并使中继服务器通过智能网关与外部网络系统建立数据连接；

S2，容器设置，完成S1步骤后，在S1步骤中的各中继服务器中，首先录入基于卷积神经网络的操控平台，然后为中继服务器设至少两个独立数据存储空间，同时设置资源调度管理器模块、节点管理器模块、yarn服务代理服务器、资源使用分析模块和虚拟化服务器，同时在Master节点处安装Flannel网络服务插件和Kubernetes网络服务管理插件，最后在Master节点设置数据库系统、镜像仓库服务系统及管理门户系统，并使各数据存储空间、资源调度管理器模块、节点管理器模块、yarn服务代理服务器、资源使用分析模块和虚拟化服务器、Flannel网络服务插件、Kubernetes网络服务管理插件、数据库系统、镜像仓库服务系统及管理门户系统分别与基于卷积神经网络的操控平台建立数据连接；

S3，系统设置，完成S2步骤，在中继服务器中首先配置基于prometheus监控报警系统、基于zookeeper的分布式应用程序协调服务系统、hadoop底层操控系统，并使基于prometheus监控报警系统、基于zookeeper的分布式应用程序协调系统及hadoop底层操控系统均与基于卷积神经网络的操控平台建立数据连接；然后在中继服务器中搭建hadoop集群，并在hadoop集群中根据任务特点构建若干yarn队列、同时为各yarn队列设置相应的配置参数及控制yarn队列刷新控制文件；最后在中继服务器中部署前后台tomcat服务器，即可完成系统配置；

S4，系统运行，完成S3步骤后，首先将待处理数据通过智能网关传输至中继服务器中，然后由中继服务器通过hadoop集群对接收的数据缓存，并通过前后台tomcat服务器对数据进行运行展示，并对接收的数据特点、数据所占用资源量进行评估，并根据数据特点及各类数据类别设定相应的yarn队列，然后通过hadoop集群对数据进行解析处理，并在解析处理过程中为yarn队列分别分配独立的运行资源，并最终通过前后台tomcat服务器对处理结果输出，同时将处理结果保存在数据处理服务器集群中相应的数据处理服务器中；

S5，系统修整，在S4步骤运行过程中，通过基于卷积神经网络的操控平台对中继服务器接收的各类数据处理过程进行同步监控，并对采集数据进行深度学习识别，形成相应的数据处理策略，并将数据处理策略保存在数据处理服务器中，同时将数据处理策略在中继服务器的hadoop集群中生成同步映像文件，并与各yarn队列对应匹配，并在后续同类数据处理时，直接通过数据处理策略自主调用相应资源即可实现自主数据处理和简化数据处理时硬件资源占用量。

2.根据权利要求1所述的一种yarn支持混合运行时的方法，其特征在于：S1步骤中，所述数据处理服务器集群中数据处理服务器为CISC服务器、RISC服务器中的任意一种或几种共用。

3.根据权利要求1所述的一种yarn支持混合运行时的方法，其特征在于：S2步骤中，基于卷积神经网络的操控平台为基于BP神经网络系统、CNN卷积神经网络系统中的任意一种或两种共用，且所述基于卷积神经网络的操控平台另设基于LSTM的智能预测系统的深度学习神经网络系统。

4.根据权利要求1所述的一种yarn支持混合运行时的方法，其特征在于：S3步骤中，yarn队列分为若干层级运行，每一层级中yarn队列均位于中继服务器中相应的独立数据存储空间中，且每一层级中各yarn队列所分配资源量总和占独立数据存储空间中资源量80%—100%。