[发明专利]芯片、神经网络训练系统、内存管理方法及装置、设备

说明书

本说明书实施例提供一种芯片、神经网络训练系统、内存管理方法及装置、设备。芯片中的处理单元在向该通信接口连接的外接设备读取或者写入与神经网络训练有关的数据时，可以将待读取或者待写入的数据对应的原始地址发送给地址转换单元，地址转换单元可以基于通信接口连接的外接设备的类型将原始地址转化为与外接设备相匹配的目标地址，以便处理单元可以成功地从外接设备的目标地址读取或者写入数据。通过对原有的接口进行功能扩展，使其可以连接外部存储器，可以增大单个芯片的内存容量，提高训练效率。

技术领域

本公开涉及人工智能技术领域，尤其涉及芯片、神经网络训练系统、内存管理方法及装置、设备。

背景技术

随着人工智能技术的发展，各种神经网络模型被广泛用于各个领域。由于神经网络模型越来越复杂，模型规模也越来越大，其所涉及的数据量也在不断增大。为了提高神经网络的训练速度，可以采用一些芯片(比如，AI芯片)加速神经网络训练，而通常单个芯片的存储空间非常有限，往往无法满足大规模的神经网络模型对内存的需求。目前通常采用多个芯片对神经网络进行加速训练，以弥补单个芯片内存不足的缺陷，多个芯片可从CPU接收指令，并根据指令共同完成对神经网络的加速训练。由于采用芯片训练神经网络时，芯片与CPU通信所使用的通信链路和CPU下发指令的通信链路相同，因而当使用芯片的数量较多时，每个芯片都要与CPU通信，从而会严重占用CPU下发指令的通信链路，影响CPU下发指令的效率，从而影响训练效率。同时，由于芯片的数量较多时，芯片之间的通信数据量较大，而芯片之间通信效率较低，也会影响神经网络训练效率。

发明内容

本公开提供一种芯片、神经网络训练系统、内存管理方法及装置、设备。

根据本公开实施例的第一方面，提供一种芯片，所述芯片包括处理单元、地址转换单元以及至少一个通信接口，每个所述通信接口可用于连接外接设备，所述外接设备的类型包括外部存储器和/或其他芯片，

所述处理单元，用于将待读取或待写入的与神经网络训练有关的数据对应的原始地址发送给所述地址转换单元，其中，所述原始地址为所述其他芯片中的物理地址；

所述地址转换单元，用于将所述原始地址转换为与所述外接设备的类型相匹配的目标地址并输出，以使所述处理单元在所述外接设备的所述目标地址读取或写入所述数据。

在一些实施例中，所述地址转换单元包括存储子单元；

所述存储子单元，用于存储所述其他芯片中的物理地址与所述外部存储器中的物理地址之间的映射关系；

所述地址转换单元，用于在确定所述通信接口连接所述外部存储器的情况下，基于所述映射关系将所述原始地址转换为所述目标地址。

在一些实施例中，所述地址转换单元，还用于在确定所述通信接口连接所述其他芯片的情况下，直接将所述原始地址确定为所述目标地址。

在一些实施例中，所述其他芯片的存储单元的物理地址被预先划分为多个地址分区，每个地址分区内的物理地址可通过预设的映射关系映射成所述外部存储器中的物理地址；

所述地址转换单元，用于确定所述原始地址所在的地址分区，基于所述原始地址所在的地址分区和所述映射关系确定所述目标地址。

在一些实施例中，所述地址转换单元包括多组第一寄存器，每组所述第一寄存器用于存储指示一个所述地址分区的地址范围的指示信息；

所述地址转换单元，用于根据所述指示信息确定所述原始地址所在的地址分区。

在一些实施例中，所述地址转换单元包括还包括多组第二寄存器，每组所述第二寄存器用于存储一个所述地址分区当前的使能状态信息；

所述地址转换单元，用于基于以下方式确定所述通信接口连接所述外部存储器：

基于所述使能状态信息从所述多个地址分区中确定目标地址分区；