[发明专利]一种Gaia系统中面向迭代计算的并行度动态调整方法在审
申请号: | 202111149214.1 | 申请日: | 2021-09-29 |
公开(公告)号: | CN113835896A | 公开(公告)日: | 2021-12-24 |
发明(设计)人: | 季航旭;韦刘国;赵宇海;王国仁;吴刚;李博扬 | 申请(专利权)人: | 东北大学;北京理工大学 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;G06F9/54;G06F9/455 |
代理公司: | 沈阳东大知识产权代理有限公司 21109 | 代理人: | 李珉 |
地址: | 110819 辽宁*** | 国省代码: | 辽宁;21 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 gaia 系统 面向 计算 并行 动态 调整 方法 | ||
本发明提供一种Gaia系统中面向迭代计算的并行度动态调整方法,涉及分布式大数据计算系统及迭代计算技术领域。该方法不需要事先预测作业所需资源,而是在作业执行过程中进行迭代资源的动态调整。如果作业执行过程中出现Slot资源不足或占用过高的情况,则根据用户预先设定的资源利用率目标进行相应的Slot资源扩容,使得作业所需的迭代资源得到满足。如果作业执行过程中出现Slot资源浪费的情况,则根据用户预设的资源利用率目标进行相应的Slot资源进行缩容,使得迭代作业所占用的Slot资源数量进行相应的减少。该并行度动态调整方法不需要在作业执行之前就执行相似的作业,也不需要执行专门的作业短示例,无需额外过多的预测时间。
技术领域
本发明涉及分布式大数据计算系统及迭代计算技术领域,尤其涉及一种Gaia系统中面向迭代计算的并行度动态调整方法。
背景技术
Gaia是一个面向多计算模型混合并存的高时效、可扩展的新一代大数据计算系统。该新型大数据计算系统针对批流混合任务具有全周期多尺度优化技术和统一计算引擎。现有大数据计算系统或依托自身计算引擎模拟另一类框架的行为,或定义一套通用接口屏蔽底层计算引擎的差异,对批流融合支持较弱。同时,其优化大多位于执行的特定时期或特定层级,且针对高复杂性任务的优化能力不足。针对以上问题,创新性地开发了基于统一计算引擎和全周期多尺度优化的高性能批流融合大数据计算引擎。该引擎为批流融合处理提供统一表达逻辑支持,通过统一表达建模融合批流处理的计算模型、数据模型、变换模型和动作模型,实现批、流处理的真正融合。针对作业的多样性、持久性、迭代性等特点,提供面向多作业、多任务、迭代计算、持久计算等优化策略,优化针对性更强。同时,提供执行前和执行中的全周期优化,并细分为作业级、任务级、变换级等多个尺度,以实现极速响应和海量吞吐。
迭代计算是数据处理中最常见的计算模型之一,其广泛应用于大数据机器学习、大图数据计算等领域。例如,网页排序算法PageRank通过迭代计算互联网中的海量超链接关系来确定网页权重;在社区发现领域,社区发现算法就是利用不断迭代来划分不同社区;在机器学习领域,各种聚类算法如K-Means算法和DBSCAN算法等都是典型的利用迭代计算不断接近最优解的算法。作为一种常见的计算模型,迭代计算包括首先给定的初值,然后用所给算法或公式计算初值得到的中间结果,并将中间结果作为输入参数进行反复计算的中间计算过程,以及在满足给定条件后得到的计算结果。
由于迭代计算中的迭代次数往往不是一个很小的数值,含有迭代计算的作业是一种耗时较长的作业。尤其当数据量较大的情况下,作业的计算耗时会更加明显,且含有迭代计算的部分会占据整个作业的大多数执行时间。因此,为了更快地得到计算结果,人们更多地将含有迭代计算的作业实现于大数据分布式计算系统(如Hadoop、Spark、Gaia)中,利用物理节点的扩展来达到更快的作业执行效率,这也催生了研究者们更加致力于研究分布式计算系统中的迭代优化技术,来不断降低迭代计算的运行时间。
迭代计算的特点是每轮迭代步骤的计算逻辑相同,但是输入数据不同,这会造成每轮迭代步骤对分布式集群的负载不同。Gaia中计算资源的基本单位是任务执行器(TaskExecutor)中的任务槽(TaskSlot,简称Slot)。Slot的数量代表了Gaia集群的并行处理能力,Gaia中资源管理器主要就是对Slot资源进行分配和管理。目前Gaia系统中Slot资源无法动态调整,所以在执行迭代任务过程中可能会出现两个方面的问题。一是并行度设置远不足以满足迭代任务的需求,这种情况下迭代任务的高负载会导致每个Slot的压力过大,以及CPU压力过大,进而影响程序处理速度或造成内存溢出等情况的出现,导致作业效率低下甚至执行失败。另一个问题是并行度设置过高导致系统资源利用率非常低,这种情况会造成资源的过度浪费和闲置,而在大规模数据处理中,可能会造成资源长时间闲置。
综上所述,需要一种面向迭代计算的动态可调整的Slot资源分配机制,针对迭代算法重复计算的特性,结合系统资源统计信息进行相应的资源优化。
发明内容
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东北大学;北京理工大学,未经东北大学;北京理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111149214.1/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种抬杆型自动调高轨枕
- 下一篇:员工评价方法、装置、电子设备及可读存储介质