[发明专利]负载还原方法、装置和设备有效
申请号: | 201610377787.2 | 申请日: | 2016-05-31 |
公开(公告)号: | CN107450968B | 公开(公告)日: | 2020-09-08 |
发明(设计)人: | 韩锐;王振涛;袁泉 | 申请(专利权)人: | 华为技术有限公司;中国科学院计算技术研究所 |
主分类号: | G06F9/48 | 分类号: | G06F9/48 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 张洋;刘芳 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 负载 还原 方法 装置 设备 | ||
本发明实施例提供一种负载还原方法、装置和设备。该方法包括:根据公有云日志中记录的负载行为信息,从核函数库中获取第一核函数集合;根据用户的评测需求和所述公有云日志,获取负载重放日志;根据每个重放单元在每个资源维度上的总资源使用率和所述第一核函数集合中的每个核函数的负载行为,从所述第一核函数集合中获取每个所述重放单元在每个所述资源维度对应的第二核函数集合;根据所述负载重放日志中的所有重放单元在各个资源维度上的第二核函数集合,获取用于评测系统性能的混合负载。该方法大大提高了负载还原的精度。
技术领域
本发明实施例涉及计算机技术,尤其涉及一种负载还原方法、装置和设备。
背景技术
在现代公有云平台上,大量的租户(即云计算用户)共享云计算基础设施资源,该资源包括中央处理器(Central Processing Unit,简称CPU)资源、内存和输入输出(Input/Output,简称I/O)资源,用来执行各种类型的作业(如CPU密集型、I/O密集型作业)。因此,很多作业(或者负载)往往在数据中心的同一个节点并发执行,形成混合负载。由相应的统计数据可知,公有云混合负载往往具有两个典型特征:一是混合负载中每个负载的负载行为高度差异化,不同负载在提交模式、运行时间、资源需求、体系结构特征等负载行为上都各不相同;二是大量短期运行的负载不断提交和完成,混合负载的负载行为的频繁变化。
一般的,当开发了某一个新的系统时,需要对该系统的性能进行评测。因此,在对系统进行评测时往往需要根据公有云日志中记录的混合负载的负载行为,还原出真正的混合负载,并使其在系统上真正运行起来,通过查看该混合负载实际运行的负载行为或者运行时间来评测系统的性能。现有技术中的负载还原方法,其具体是基于Facebook和Yahoo!云平台日志,对云平台中广泛存在的Hadoop MapReduce作业进行还原的方法,具体为:
首先是对MapReduce作业的负载行为进行描述,然后以根据用户要求的评测时间段,对真实日志进行抽样,得到负载重放日志;最后,基于该负载重放日志生成MapReduce负载输入数据,进一步在Hadoop平台上基于I/O资源维度生成仿真的MapReduce作业。
但是,现有技术中的负载还原方法,仅从IO资源维度考虑了负载的还原,其并没有考虑负载的实际执行逻辑,即并没有考虑CPU、内存资源使用率,以及相应的体系结构负载特征,其负载还原的准确性不高。
发明内容
本发明实施例提供一种负载还原方法、装置和设备,用以解决现有技术中负载还原的考虑维度单一、负载还原准确性不高的技术问题
第一方面,本发明实施例提供一种负载还原方法,包括:
根据公有云日志中记录的负载行为信息,从核函数库中获取第一核函数集合;其中,所述第一核函数集合包括CPU核函数集合和空间核函数集合;所述CPU核函数集合包括多个CPU核函数,所述空间核函数集合包括内存核函数集合和/或IO核函数集合,所述内存核函数集合包括多个内存核函数,所述IO核函数集合包括多个IO核函数;
根据用户的评测需求和所述公有云日志,获取负载重放日志;其中,所述负载重放日志中的每个重放单元均包括当前重放单元中的所有负载分别在各个资源维度上的总资源使用率;
根据每个所述重放单元在每个资源维度上的总资源使用率和所述第一核函数集合中的每个核函数的负载行为,从所述第一核函数集合中获取每个所述重放单元在每个所述资源维度对应的第二核函数集合;其中,所述第二核函数集合中的同一种核函数在所述资源维度上的资源使用率之和不超过所述资源维度上的总资源使用率;
根据所述负载重放日志中的所有重放单元在各个资源维度上的第二核函数集合,获取用于评测系统性能的混合负载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司;中国科学院计算技术研究所,未经华为技术有限公司;中国科学院计算技术研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610377787.2/2.html,转载请声明来源钻瓜专利网。