[发明专利]一种单机贪婪异步并行计算优化方法及系统

说明书

本发明涉及计算机技术领域，尤其是指一种单机贪婪异步并行计算优化方法及系统，包括能够监控计算机CPU、GPU、DRAM、IO相关设备参数的监控器；数据异步传输系统；基于贪婪算法的优化器；基于GPU的并行算法优化器。本发明技术方案能够使单台计算机的计算能力达到最大化，以提升单机计算效能。

技术领域

本发明涉及计算机技术领域，尤其涉及一种单机贪婪异步并行计算优化方法及系统。

背景技术

现在的业务系统在单机系统上运行时，面临着IO介质、碎文件读写、单线程等数据传输瓶颈，同步处理、多核协同失衡等处理瓶颈，以及单核单线程、CPU/GPU协同失衡等瓶颈，以及处理、计算、输出等流程瓶颈，因此不能充分利用现有计算资源，使得单机资源未被充分利用，业务系统的运行效率低下的问题。采用贪婪并行计算技术可有效解决上述问题，提升业务系统在单机上的运行效率。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种单机贪婪异步并行计算优化方法及系统。

为了实现上述目的，本发明采用了如下技术方案：一种单机贪婪异步并行计算优化系统，包括监控计算机cpu、gpu、DRM、IO相关设备参数的监控器；异步传输系统；基于贪婪算法的优化器；基于GPU的并行算法优化器，其特征在于：所述设备监参数控器实时监控计算机以获取计算机设备参数包括：初次运行收集CPU、GPU频率、IO速度、DRAM空间和传输速度；试验运行中收集CPU、GPU利用率曲线、IO利用率曲线、DRAM空间利用率曲线。

作为上述技术方案的进一步描述：

所述异步传输系统包括依据最优参数化方案把计算数据从磁盘异步传输到DRAM，以利用DRAM的传输速度高的特征减少下次计算的数据传输等待时间。

作为上述技术方案的进一步描述：

所述基于贪婪算法的优化器包括：依据监控器实时获取到设备利用率等参数对计算任务所开启的线程数、数据批次、单批数据装填量进行不断优化，并记录最优参数化方案。

作为上述技术方案的进一步描述：

所述基于GPU的并行算法优化器包括：

S1：低耦合，语言无关；

S2：技术底层，高复用，对于使用者来说和普通磁盘一样；

S3：底层高效，生成快、读取快；

S4：基于编程文件系统的业务可流程化。

一种单机贪婪异步并行计算优化方法，包括所述贪婪并行算方法以MPFS为基础结合资源贪婪最优算法，使数据传输、处理、计算全流程以异步的方式达到一种最优利用资源的综合优化框架；主要由内存级可编程文件系统MPFS、资源最优分配贪婪优化器GreedyOptimizer,GO、基于GPOF单元的综合业务流程优化构成；

还包括以下步骤：

S01：获取计算任务；

S02：通过监控器获取CPU、GPU、DRAM、IO利用率；

S03：数据异步传输：

S04：GPU算法优化器；

S05：试验性计算；

S06：通过贪婪优化器不断优化；

S07：记录最优参数化方案；

S08：按照最优参数化方案计算。

作为上述技术方案的进一步描述：