[发明专利]一种基于大数据技术的云平台资源智能分析方法

说明书

本发明涉及资源分析技术领域，具体公开了一种基于大数据技术的云平台资源智能分析方法，包括以下步骤：S1、获取设备性能数据以及设备台账数据；S2、使用Hadoop HDFS将所述的设备性能数据和台账数据进行数据分布存储，将设备性能数据和台账数据以JSON数据格式离散分布到各Hadoop集群节中；S3、启动Hadoop Yarn构建资源管理集群，得设备计算结果；S4、将步骤S3的计算结果落盘输出到Hive数据仓库中，Hive数据仓库基于分层设计、HDFS分布式存储数据；S5、根据计算结果，生成各设备的月度、季度、年度的汇总值，通过数据接口向展示应用提供数据查询、数据导出，对外展示输出结果。本发明对海量历史监控数据的进行部分数据挖掘，从看似无用的历史数据中提取出有价值的指标。

技术领域

本发明属于资源分析技术领域，特别涉及一种基于大数据技术的云平台资源智能分析方法。

背景技术

随着信息技术的发展，越来越多的公司使用云平台技术，云平台通过虚拟化技术，为用户提供虚拟化计算节点，由虚拟计算节点为用户提供计算服务。由于申请虚拟资源的用户根据不同需求会提出不同的资源类型申请，云平台如何分配这些资源，同时如何对已分配但未利用的资源进行回收，是云平台管理过程中应重点关注的问题。

目前，一般电力企业的云平台存在资源分配不合理、使用不均衡的情况，具体情况为：1、部分主机资源分配过剩，负载长期空闲；2、部分主机资源分配不足，负载长期满载；3、部分主机所属业务已下线或退运未释放占用资源，长期空载运行。传统方式需要依赖强劲配置的单台数据库服务进行各类聚合运算，硬件成本较高、计算等待时间长，为解决上述存在的问题需要定期开展IT资源评价和回收工作，但统计资源分配不合理的主机需要进行手动导出报表、人工筛选、人工分析三个阶段，目前一般电力企业的监控系统只支持导出实时数据，无法导出月度平均、峰值等更多数据。造成在开展IT资源评价和回收工作时耗费大量人力且无法精准覆盖到每台主机。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明的目的在于提供一种基于大数据技术的云平台资源智能分析方法，从而克服现有技术中不能按照月份来导出设备数据的缺陷，同时可实现对在运设备计算资源进行扩缩容调整。

为实现上述目的，本发明采用如下技术方案：

一种基于大数据技术的云平台资源智能分析方法，包括以下步骤：

S1、获取设备性能数据以及设备台账数据；S2、使用Hadoop HDFS将所述的设备性能数据和台账数据进行数据分布存储，将设备性能数据和台账数据以JSON数据格式离散分布到各Hadoop集群节中；S3、启动Hadoop Yarn构建资源管理集群，使用Scala语言实现对各计算节点内存中的设备性能数据和台账数据进行初步处理后，并对TB级别的数据进行数据分片，使用Spark编程从HDFS数据存储路径上加载导出设备性能数据和台账数据到各Spark计算节点内存中，各Spark计算节点完成自己负责的数据计算后，由Spark Driver节点将各分片数据结果进行shuffle、分区合并的操作，并得到最终计算结果；S4、将步骤S3的计算结果落盘输出到Hive数据仓库中，Hive数据仓库基于分层设计、HDFS分布式存储数据；S5、根据上述的最终计算结果，生成各设备的月度、季度、年度的汇总值，通过数据接口向展示应用提供数据查询、数据导出，对外展示输出结果。

优选的，上述步骤S3中的对各设备性能数据和台账数据进行初步处理具体为：使用Spark SQL实现对设备性能数据和台账数据过滤去除重复、无效的指标数据以达到缩减数据量。