[发明专利]一种通过减少数据传输实现GPU降耗的方法及系统

说明书

本发明涉及一种通过减少数据传输实现GPU降耗的方法及系统，本发明通过将共享相同数据的线程放在同一个流多处理器(SM)中的L1缓存中的思想，避免跨SM访存导致数据传输增加从而增加功耗，同时利用相应的缓存替换策略，降低数据传输频率，在不过多影响性能的情况下，进一步实现功耗的降低。相比较现有技术，将共享相同数块的线程放在同一个SM中，避免了频繁的跨SM访存，减少了内存争用现象和不必要数据复制状况的出现具有较强的创新性；本发明技术以减少数据传输的角度，显著地减少了GPU的整体功耗。

技术领域

本发明属于通过减少数据传输和缓存管理实现GPU降耗的方法及系统，特别涉及一种通过减少数据传输实现GPU降耗的方法及系统。

背景技术

GPU拥有的众多ALU(逻辑执行单元)使其具有高并发和高吞吐量的特性，广泛地应用于大数据处理、神经网络、人工智能等领域，受到了众多研究者和业内人士的欢迎。然而，随着GPU在高性能计算中的广泛应用，导致人们对于GPU的带宽要求也在不断的提高，而带宽的提升通常是伴随着功耗的增加为代价。过高的功耗，其带来的资源消耗十分恐怖，例如美国能源部橡树岭国家实验室的“泰坦”超级计算机，一个计算机节点就能消耗将近500 瓦的电量，满负荷运算时功耗可达到8.2兆瓦。另外，功耗的增加使得硬件产生过多的热量，不仅缩短硬件的使用寿命，降低系统的可靠性，还影响着硬件设备性能的发挥，导致较低的能效比。因此，在不过多损害性能的同时，降低GPU的功耗是广大研究者必须解决的问题之一。

GPU功耗主要是由硬件产生。在硬件中，GPU的核心架构、核心的工艺制程和其“堆料”程度、空闲硬件运行等都会产生并影响功耗。GPU集成的晶体管数量越大，功耗就会越大；核心的工艺制程越粗糙，将会导致计算逻辑和硬件组件不能相互兼容，难以实现先进的低功耗架构；GPU的“堆料”程度如PCB基板，其包含的电子元件越多越精密，其功耗也会相应的得到增加；同时，空闲硬件在待机时也会需要能源的支撑，这也会产生部分功耗。

硬件组件之间的数据传输、计算任务执行等操作也会产生功耗。数据传输中的通信访问和副本复制需要相应的能源，当执行不合适的调度或数据复制策略时，就会导致数据冗余和多余的交互操作，同时也会增加功耗。数据爆炸式的增长，使得计算任务操作执行的频率越来越高，这将会消耗大量的资源，同时也会产生更多的能耗。因此，我们需要采取先进的降耗技术，缓解功耗带给系统的负面影响。

为此，全世界的科研人员经过了不懈的努力，提出了各种各样的新方法，这些方法可以被归为三类：(1)硬件方法；(2)中间件方法；(3)软件方法。

1.硬件方法

硬件方法主要是针对GPU的动态体系结构、缓存体系结构和互联网络进行设计，将多种专用控制器节能技术嵌入到现代处理器体系结构中，以降低能源使用，比如GRAPE用于GPU的硬件控制系统，通过协调计算单元的使用、速度和内存速度，在达到指定性能的情况下实现最小化功耗；将内存和功耗管理相结合，定期调整物理内存的大小和超时值，通过关闭硬盘来降低平均功耗。

2.中间件方法

中间件方法是在硬件中部分实现的，硬件使中间件能够根据处理器温度关闭或减慢功能单元。硬件支持的中间件技术包括Stop-and-Go、动态电压频率缩放(DVFS)、高级配置与电源接口(ACPI)和门控技术。其中， Stop-and-Go是动态电源管理(DPM)技术的最简单形式，DPM主要是通过关闭或改变空闲组件的状态来降低功耗的，而Stop-and-Go技术是可以在全局和局部范围内实现。在全局范围内，如果其中一个内核达到了制定的阈值温度，则该方案将会关闭整个芯片，直到它冷却下来恢复为止，而在局部范围内，只会关闭过热的内核，其他内核正常运作。