[发明专利]一种作业性能预测方法、装置、介质、设备及系统有效
| 申请号： | 201810443167.3 | 申请日： | 2018-05-10 |
| 公开（公告）号： | CN108647137B | 公开（公告）日： | 2020-12-22 |
| 发明（设计）人： | 徐飞;蒋欢 | 申请（专利权）人： | 华东师范大学 |
| 主分类号： | G06F11/34 | 分类号： | G06F11/34;G06F9/50;H04L29/08 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 200333 上*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种作业性能预测方法，包括获取大数据作业的作业相关参数；收集瞬时云主机的相关特征参数；建立Spark作业基本性能预测模型得到Spark作业完成时间；判断是否发生瞬时云主机撤回事件，若否，则基于Spark作业完成时间以及瞬时云主机的资源配置预测该资源配置下的Spark作业完成时间；若是，则基于关键RDD数据检查备份机制评估额外开销，并基于额外开销、Spark作业完成时间以及瞬时云主机的资源配置预测该资源配置下的Spark作业完成时间。本发明不管瞬时云主机有没有发生撤回都可以进行作业性能预测，在发生撤回事件时，通过关键RDD数据检查备份机制减少额外时间开销，帮助用户减少成本预算。本发明还涉及一种作业性能预测装置、介质、设备及系统。 | ||
| 搜索关键词： | 一种 作业 性能 预测 方法 装置 介质 设备 系统 | ||
【主权项】：
1.一种作业性能预测方法，其特征在于，所述方法包括：获取大数据分析作业的作业相关参数；收集作为计算资源的瞬时云主机的相关特征参数；基于所述作业相关参数以及所述瞬时云主机的相关特征参数，建立Spark作业基本性能预测模型并得到Spark作业完成时间；基于所述瞬时云主机的相关特征参数，判断在作业完成之前是否发生瞬时云主机撤回事件，如果没有发生所述瞬时云主机撤回事件，则基于所述Spark作业完成时间以及所述瞬时云主机的资源配置预测所述资源配置下的Spark作业完成时间；如果发生所述瞬时云主机撤回事件，则基于关键RDD数据检查备份机制评估所述瞬时云主机撤回事件导致的额外开销，并基于所述额外开销、所述Spark作业完成时间以及所述瞬时云主机的所述资源配置预测所述资源配置下的Spark作业完成时间。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华东师范大学，未经华东师范大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810443167.3/，转载请声明来源钻瓜专利网。
