[发明专利]一种yarn支持混合运行时的方法

说明书

本发明提供了一种yarn支持混合运行时的方法,包括构建数据处理服务器集群,容器设置，系统设置，系统运行及系统修整等五个步骤。本发明一方面有效的简化了系统构成结构，且系统维护、拓展能力强，通用性好，可有效满足多种类型数据处理及同步满足不同使用场合及场地应用作业的需要，且设备综合利用率高，在确保系统运行稳定性的同时有效降低了数据处理系统运行成本；另一方面可在有效提高数据处理作业效率的同时，有效的简化了数据及网络通讯系统的结构，降低了数据处理对硬件资源的损耗，从而有效的降低数据处理作业时硬件设备投入及加工作业的成本。

技术领域

本发明涉及一种yarn支持混合运行时的方法，属于计算机技术领域。

背景技术

目前随着大数据、云计算等网络技术发展的需要，为了满足不同资源处理作业的需要和提高数据资源处理作业效率的目的，往往需要通过多个hadoop集群进行不同业务处理作业，虽然当前的数据处理系统及方法可以一定程度上满足使用的需要，但在运行过程中一方面存在系统构成结构复杂、系统构建及维护作业难度及劳动强度大，且运行成本相对较高；另一方面各hadoop集群运行时往往均需要配置相应的硬件系统进行支撑，在进一步导致当前系统运行和维护成本较高的同时，也造成了在数据处理高峰时硬件资源分配紧张，在增加系统运行成本的同时，也导致数据处理运行作业效率受到极大影响，而在系统空闲阶段时，极易造成大量硬件设备资源处于闲置状态，从而造成了大量的资源浪费，因此当前的数据处理系统在运行时存在较大不足，在影响数据处理运行效率的同时，也导致了大量资源浪费，进一步增加了系统运行成本。

此外，当前的数据处理系统在运行中，针对不同类型的数据，往往需要工作人员手动或利用专用的程序对相应数据进行处理作业，从而进一步导致了数据处理效率低下，且数据处理自动化和智能化程度低下，同时也导致了在进行数据协调处理需要时占用大量的资源，进一步增加了系统运行成本。

针对这一问题，迫切需要开发一种全新的数据处理方法及系统，以满足实际工作的需要。

发明内容

针对现有技术上存在的不足，本发明提供一种yarn支持混合运行时的方法，以克服现有同类系统运行的不足，满足实际使用的需要。

为了达到上述目的，本发明提供如下技术方案：

一种yarn支持混合运行时的方法,包括以下步骤:

S1，构建数据处理服务器集群，首先构建若干数据处理服务器，且各数据处理服务器之间相互并联，并使各数据处理服务器与智能网关与至少一个中继服务器建立数据连接，并构成数据处理服务器集群，同时为中继服务器分配至少一个Master节点，同时为中继服务器分配至少一个slave节点，并使中继服务器通过智能网关与外部网络系统建立数据连接；

S2，容器设置，完成S1步骤后，在S1步骤中的各中继服务器中，首先录入基于卷积神经网络的操控平台，然后为中继服务器设至少两个独立数据存储空间,同时设置资源调度管理器模块、节点管理器模块、Yarn服务代理服务器、资源使用分析模块和虚拟化服务器，同时在Master节点处安装Flannel网络服务插件和Kubernetes网络服务管理插件，最后在Master节点设置数据库系统、镜像仓库服务系统及管理门户系统，并使各数据存储空间、资源调度管理器模块、节点管理器模块、Yarn服务代理服务器、资源使用分析模块和虚拟化服务器、Flannel网络服务插件、Kubernetes网络服务管理插件、数据库系统、镜像仓库服务系统及管理门户系统分别与基于卷积神经网络的操控平台建立数据连接；