[发明专利]一种高效计算装置

说明书

本发明提供了一种高效计算装置，所述计算装置用于接收外部设备直接传输的数据，并外部存储器读取参与运算的数据，将运算结果数据写入外部存储器；片上互联总线，所述片上互联总线用于所述计算装置与存储控制器以及外设控制器之间进行数据流交互；所述存储控制器连接有外部存储器，所述外设控制器连接有外部设备。本发明的高效计算装置能显著降低对存储器的访问带宽，可以有效突破传统计算加速设备中由于外部存储带宽的不足引起的性能瓶颈，达到更高的加速性能；避免了使用大容量片上缓存或HBM等昂贵的器件带来的成本上升，本发明仅使用常规的技术和常规的外部器件，具有明显的技术成熟度和成本优势。

技术领域

本发明涉及计算机技术领域，具体涉及一种高效计算装置。

背景技术

计算加速器是一种用于计算机系统中的设备，它们拥有在某些特定的应用领域下较强的计算能力。当使用计算加速器后，可以将原本CPU承担的计算任务，让加速器来承担，这样，可以释放CPU相对昂贵的通用计算能力。在一般情况下，相同成本的CPU算力远小于这些专用计算加速器的计算能力，也因此该类设备可以起到“加速”的作用。

CPU当前的算力发展，已经日趋缓慢甚至停滞。而由于云计算和AI等应用领域带来的网络、存储系统等的发展需求，却仍然在飞速增长。CPU已经越来越成为计算机系统中的计算瓶颈，将特定应用领域下的计算任务由专用的硬件执行已成为趋势。

计算加速器一般由计算加速芯片、板级的存储器(例如DRAM)以及连接外部设备的接口组成。参见图1所示，计算加速芯片一般是一个SoC系统，它的核心是承担计算功能的专用计算装置，例如，在AI芯片中，该计算装置一般是向量乘法器、矩阵乘法器等；在存储芯片中，则一般有用于RAID计算装置、加解密计算装置等。

此外，由于计算过程一般都需要大量的缓存空间，片上缓存由于其昂贵的价格，无法做到大容量，因此SoC系统还需要使用存储控制器用于连接板级存储器。

参与计算的数据来源可以自于外部设备或者主机内存，但最终来源一般还是外部设备，例如网络、磁盘等。高效的计算加速设备会直接连接外部设备，或通过P2P的方式与外部设备通信，这类加速器芯片的SoC系统需要包含外设控制器。部分计算加速设备不具有外设控制器，它们只能从主机内存中获取数据，由于外部设备的数据需要先进入主机内存再被加速设备读取，因此使用这类加速设备的计算机系统往往更容易面临内存带宽瓶颈。

传统的计算加速芯片的数据流如下图2所示。典型场景下，外部存储器存储了待参与运算的数据1，参与运算的另一个数据(数据2)由外部设备提供。传统方法下，数据2先由外部设备通过访问存储控制器写入外部存储器，然后计算装置再从外部存储器中读取数据1和数据2，执行完计算过程后，再将结果写入外部存储器。

上述传统方式有个缺点，就是每一次计算，需要多次访问外部存储器。例如上述场景下，需要对存储器进行4次访问(不包括准备数据1)。这个缺点在传统的计算机系统中并不明显，因为外部存储器往往能提供相对较大的带宽，但是，随着云计算、AI等计算密集型场景的出现，外部存储器带宽已经成为计算加速器的瓶颈，也就是说，加速芯片往往能提供足够高的算力，但是由于外部存储带宽的限制，这些算力无法完全发挥出来。

使用更多的外部存储器通道，或者使用更高带宽的HBM技术，可以在一定程度上解决上述问题，但这些方法都带来非常高昂的成本。

发明内容

鉴于此，本发明的目的在于提出一种高效计算装置，可用于计算加速芯片内部，大幅度减少对外部存储器的访问次数，减少存储带宽的需求。

基于上述目的，一方面，本发明提供了一种高效计算装置，其中该系统包括：

计算装置，所述计算装置用于接收外部设备直接传输的数据，并外部存储器读取参与运算的数据，将运算结果数据写入外部存储器；