[发明专利]一种基于大数据的网络实现方法

说明书

本发明公开了一种基于大数据的网络实现方法。首先，将分布式网络分割为若干个子网，其中每个子网具有一个或多个分布式数据中心、以及一个云计算管理平台；其次，实现每个子网的网络设置、安全性评估和数据容灾。本发明的方法结合云计算技术，提高了分布式网络中大数据资源的分析管理和计算效率；同时，更加安全高效地实现了大数据资源的容灾备份，提高了大数据资源的安全性。

技术领域

本发明涉及大数据和云计算等技术领域，尤其涉及一种大数据的网络实现方法。

背景技术

大数据、云计算、分布式网络等概念代表了当今互联网信息技术革命的最新热点和发展方向。大数据是继云计算、物联网之后IT行业又一大颠覆性的技术革命。如今我国大数据产业已经具备了良好的发展基础，面临着难得的发展机遇。如今，随着大数据的迅猛发展，大数据网络的规模已经远远超越了现有网络架构和基础设施的承载能力，网络实时性要求也大大超越了现有的计算能力；且大数据网络中存储的数据往往都是PB级别的，对于这种海量数据的运行安全评估和数据容灾也是大数据领域值得关注的重点议题。如何提高大数据并发处理的效率和稳定性；解决网络中大数据海量存储、安全处理，以及数据备份容灾等，都是大数据网络实现所面临的重要内容。随着云计算技术的飞速发展，如何结合通过云计算管理平台实现大数据分析管理，也体现了云计算技术的发展方向。

现有技术在网络大数据、云计算和分布式网络在运行效率和数据安全稳定性等多个方面仍有很多值得改进之处。例如，如何利用云计算技术提高网络大数据的分析管理和计算效率，以及如何更安全高效地实现数据容灾都是亟待解决的问题。

发明内容

为了解决现有技术中存在的问题，本发明的目的在于克服已有技术存在的不足，提出了一种基于大数据的网络实现方法，该方法包括以下步骤：

步骤一：将分布式网络分割为若干个子网，其中每个子网具有一个或多个分布式数据中心、以及一个云计算管理平台；

步骤二：实现每个子网的网络设置、安全性评估和数据容灾。

可选地，所述分布式数据中心基于HDFS实现分布式统一数据存储，支持MongoDB分布式数据库；采用Vert.x全异步服务器架构处理高并发I/O请求，并使用Kafka消息中间件处理大数据。

可选地，所述云计算管理平台为支持私有云和公有云的混合云计算管理平台，该平台采用SaaS服务模式，并提供分布式接口服务；

所述云计算管理平台使用加密方法通过安全的通讯信道连接当前子网中的分布式数据中心；

所述云计算管理平台包括支持OPC或者OPC-UA的通讯协议转换模块，用于对当前子网中的分布式数据中心进行远程控制；

所述云计算管理平台通过push或pull and pooling的采集方法收集当前子网中的分布式数据中心的各类数据，用于对当前子网中的分布式数据中心进行远程监测；

所述云计算管理平台支持Spark大数据引擎，使用该引擎中的Spark Streaming模型执行大数据实时处理分析；其中，

所述大数据实时处理分析包括：聚类分析、预测性分析、数据挖掘、以及可视化分析；

所述可视化分析包括：使用基于MVVM的vue.js联合框架，利用webpack工具进行打包，实时显示数据分析结果。

可选地，所述步骤二中,实现每个子网的网络设置，包括将每个子网配置为：

该子网具有以云存储方式实现的数据容灾备份中心，并且

若该子网具有多个分布式数据中心，则以大二层连接方式将该子网中的每个分布式数据中心的经虚拟化的核心交换机互连。