[发明专利]具有近存储器地址生成的存储器访问命令

说明书

提供了一种存储器控制器，该存储器控制器可配置有命令逻辑，该命令逻辑能够经由将存储器控制器连接到存储器模块的命令/地址总线发送具有不完整地址信息的存储器访问命令。该存储器控制器可经由总线发送存储器访问命令，用于访问存储器模块的存储器位置处存储的数据。存储器位置可对应于不同的近存储器生成地址，从而反映数据在该存储器模块上尚未进行地址对齐。然而，由于近存储器地址生成，该存储器控制器可发送具有不完整地址信息的存储器访问命令而用于访问不同地址处存储的数据，这与必须在总线上发送指定完整地址信息的多个存储器访问命令而用于访问不同地址处的数据相反，从而节省可用总线带宽的用量、降低功耗并增加计算吞吐量。

技术领域

具有近存储器地址生成的存储器访问命令的公开实施方案一般涉及易失性和非易失性计算机存储器，并且更具体地，涉及用于访问计算机存储器中所存储的数据的计算机实现逻辑。

背景技术

计算机存储器是几乎每个计算机的基础部件，包括个人计算机、平板计算机、智能电话、服务器计算机和其他计算设备诸如打印机和因特网连接设备。计算机存储器通常用于计算机中以存储数据以及对该数据进行操作的处理器可执行指令(机器代码)。

虽然术语“存储器”通常用于指易失性计算机存储器，诸如呈现具有金属氧化物半导体存储单元的集成电路芯片形式的动态随机存取存储器(或仅简称“DRAM”)，但是计算机存储器也可以是非易失性的。易失性和非易失性计算机技术的非详尽列表包括DRAM、静态随机存取存储器(或仅简称“SRAM”)、非易失性双列直插式存储器模块(或仅简称“NVDIMM”)、快闪存储器、嵌入式DRAM、便笺式存储器等。

计算机的计算机存储器通常经由计算机的一组导线或导体而连接到计算机的硬件“主机”。硬件主机可涵盖存储器控制器和中央处理单元(或仅简称“CPU”)、图形处理单元(或仅简称GPU)或其他硬件数据处理器。计算机存储器与主机之间的连接通常涵盖：针对命令/地址信息的接口(有时称为“命令/地址总线”)以及针对数据信息的接口(有时称为“数据总线”)。

近来，处理器(例如CPU和GPU)的计算能力和速度增加已经快于连接计算机存储器与主机的数据总线的带宽。结果，当处理器悠闲地等待数据经由数据总线往返于计算机存储器进行传送时，数据总线已经成为计算吞吐量的一个瓶颈。

存储器内处理器(或仅简称“PIM”)解决方案提供了靠近计算机存储器(例如，在相同裸片上)的数据处理能力。利用PIM解决方案，由于数据处理能力靠近计算机存储器，因此可以对从计算机存储器所访问的数据执行计算，而不必通过数据总线将所有原始数据传送至主机。例如，一种可能的PIM解决方案可涉及：将简单的向量计算元件添加到计算机存储器的每个内部存储器模块中，诸如添加到每个DRAM库或子阵列。然后，利用这些附加元件，主机可以在所有内部存储器模块处触发计算，而无需通过数据总线在DRAM接口上传送数据。

通过计算机存储器与主机之间的数据传输，PIM解决方案可节省数据总线的带宽消耗，并且提高计算工作负载的吞吐量，特别是针对日益增长的数据受限计算工作负载类别，诸如深度人工神经网络机器学习工作负载、大规模图形分析工作负载、机器学习工作负载中的稀疏计算以及其他类型的计算密集型工作负载，在缺乏存储器本地PIM单元的情况下，随着计算机存储器与主机之间的数据传输，这些计算密集型工作负载可能达到数据总线的带宽限值。

仅作为一个示例，机器学习中的常见操作是稀疏嵌入查找。此操作可以支配一些工作负载的执行时间。从包含计算机存储器中所存储的数百万个嵌入条目的大型嵌入表中，此类操作可以稀疏地读取包含数百个元素的大型嵌入，并将它们累积在一起。由于数据重用受到限制，此类操作对数据总线带宽非常敏感。