[发明专利]基于瓶颈资源定位及参数调优的大数据平台测试方法

说明书

本发明提供了一种基于瓶颈资源定位及参数调优的大数据平台测试方法，包括：将开源工具与大数据平台集成后对大数据平台进行资源的日常监控；根据日常监控资源计算各资源的信息增益率；根据所述信息增益率，基于改进信息增益的瓶颈资源定位方法定位出导致大数据平台出现性能瓶颈的瓶颈资源；根据定位的瓶颈资源，基于敏感度筛选出调优参数集；利用自动化脚本对调优参数集的参数进行修改，得到最优的参数配置。本方法可以及时定位导致大数据平台出现性能瓶颈的资源，推荐出选定参数的最优参数配置集合，达到自动化、全面化参数调优的目标。

技术领域

本发明涉及媒体通信技术领域，尤其涉及一种基于瓶颈资源定位及参数调优的大数据平台测试方法。

背景技术

随着大数据的关注度越来越高，大数据平台的测试工具和评测基准吸引了学术界和工业界的广泛研究，以Hadoop为例的大数据平台自带了一些测试基准程序，主要包括用于测试HDFS性能的TestDFSIO、用于文本排序的TeraSort、用于测试MapReduce小型作业响应能力的MRbench和用于统计单词出现频次的WordCount。这些基准测试程序具有效率高和成本低的优点，广泛应用于以Hadoop为测试对象的科研中。

目前Hadoop性能优化工作大致分为四种：基于数据的优化、基于作业调度策略的优化、基于特定应用的优化和基于运行环境配置参数的优化。

基于数据的优化是以数据块为基本单位，通过改进Hadoop大数据平台中数量处理的模式提高数据处理效率，从而实现平台的性能提升。现有技术中的相关方式主要包括：通过使用MapReduce编程模型完成小文件的合并，从而提高了Hadoop处理小文件的性能；针对现有的MapReduce框架在一个任务中主要在用一个map/reduce作业执行数据处理，并不是直接支持数据迭代应用提出了一个Dacoop框架，其延伸了MapReduce编程接口对重复处理的数据进行指定，引入基于共享内存的数据缓存机制对数据进行首次访问后的缓存，并采用缓存感知的任务调度，使得缓存的数据能够在数据迭代应用的map/reduce作业之间共享，通过这种处理方式可以提升Hadoop在处理数据迭代应用程序方面的性能。

基于作业调度策略的优化是以任务为单位，通过改进作业调度的策略提高作业处理的效率，提高大数据平台的性能。Hadoop默认任务调度模型的问题在于缺乏动态性和灵活性，现有技术中提出了一种以CPU占用率作为负载指标，在循环分配任务时根据反馈的负载指标判断节点负载情况的算法，从而动态适应负载变化，该算法有效地提高了平台的性能；还有文献在分析Hadoop缺省及改进作业调度算法基础上，引入了吞食行为和跳跃行为改进人工鱼群算法改善了作业调度，在异构环境下提高平台的性能。

基于特定应用的优化是指通过修改系统代码等优化手段提升这一类应用在Haoop平台中的性能。从应用程序着手，现有技术中提出了多个解决方法，进行了MapReduce优化算法、脚本/编译语言的对比、小文件预处理等多个实验，通过对优化技术和实验结果进行分析得出了优化应用程序是提高大数据平台性能的有效手段的结论。

上述前三个方法的缺陷在于需要的前置知识较多，工作量繁重，而且修改系统等方式使得源码更加难以维护，增加了系统的耦合度。基于运行环境配置参数的优化是通过一些方式对大数据平台的相关配置参数进行调整从而实现平台的性能提升，相对于前三个方法，对参数的调优是更为简便和快速有效的。由于系统性能与大量配置参数直接相关，这些参数控制系统执行的各个方面，从低级内存设置和线程数量到更高级别的决策，如资源管理和负载平衡。配置参数设置不当会对整体系统性能和稳定性产生不利影响。目前基于配置参数优化的研究包括基于规则的方法、基于成本建模的方法、基于模拟的方法以及基于机器学习的方法。