[发明专利]使用存内处理进行矩阵乘法的装置和方法

说明书

本发明公开了用于使用存内处理(PIM)的矩阵乘法的装置和方法的实施例。在示例中，用于矩阵乘法的设备包括块阵列，所述块每个都包括一个或多个PIM块。PIM块可以包括被配置为数字模式或模拟模式的混合模式PIM块。配置为数字模式的PIM块可以执行与深度(DW)卷积相关联的操作。另一方面，配置为模拟模式的PIM块可以执行与逐点(PW)卷积相关联的操作。根据计算，控制器可用于将PIM模块配置为要么数字模式、要么模拟模式。

背景技术

本发明的实施例涉及存内处理(processing-in-memory，PIM)。

超低功率机器学习处理器对于执行嵌入式系统的认知任务而言是至关重要的，因为功率预算例如在电池或能量收集源的情况下是有限的。然而，由深度卷积神经网络(DCNN)生成的数据在常规的冯·诺依曼架构中会导致存储器与计算单元之间的繁重通信量，并且不利地影响这些系统的能效。作为加速DCNN执行的有前途的解决方案，基于非易失性PIM(NVPIM)的电阻性随机存取存储器(ReRAM)应运而生。ReRAM的高单元密度允许在芯片上实现大的片上ReRAM阵列以存储DCNN的参数，而合适的功能、例如矢量矩阵乘法(VMM)可以直接在ReRAM阵列及其外围电路中执行。

发明内容

以下提供了一个或多个方面的简化摘要，以提供对这些方面的基本理解。该概述不是对所有预期方面的广泛概述，并且既不旨在识别所有方面的关键或关键要素，也不旨在描绘任何或所有方面的范围。其唯一目的是以简化形式呈现一个或多个方面的一些概念，作为稍后呈现的更详细描述的前奏。

在此公开了用于使用PIM进行矩阵乘法的装置和方法的实施例。

在一个示例中，该装置可以包括可以被配置为数字模式或模拟模式的混合模式PIM设备。混合模式PIM设备可以包括：输入组件，被配置为存储第一矢量和输入数据的；存储器阵列，被配置为在模拟模式和数字模式下操作的外围逻辑；以及控制电路，被配置为使外围逻辑能够在数字模式下执行乘法运算或累加运算，以及在模拟模式下执行移位加法运算并生成部分和。

在另一个示例中，PIM块可以被配置为至少部分地基于与模数转换器(ADC)相关联的分辨率来识别一组存储器单元(MU)。在某些方面，该组MU可以位于存储器阵列的通道中，该通道包括存储器阵列的一组列。在某些其他方面，该组MU中的每个存储器单元(MU)由位于该组列中的列中的一组相邻存储器单元组成。PIM设备可以至少部分地基于与第一矩阵相关联的权重的精度将一组矩阵中的每个矩阵中的每个元素映射到该组MU中的至少一个MU。PIM设备可以将与该组矩阵中的每个矩阵相关联的权重作为矢量映射到该组MU。PIM设备可以将该组矩阵中的每个矩阵映射到通道中的不同列。

附图说明

并入本发明并形成说明书一部分的说明书附图图解说明了本发明的实施例，并且与说明书一起进一步用于解释本发明的原理并使得本领域技术人员能够使用本发明。

图1图示了根据本发明的某些方面的片上系统(SoC)设备的框图。

图2图示了根据本发明的一些实施例的能够由PIM块执行的两个示例性计算流程。

图3图示了根据本发明的一些实施例的用于深度卷积的示例性块级计算流程。

图4A图示了根据本发明的某些方面的示例性核映射流程。

图4B图示了根据本发明的某些实施例的能够使用图4A的示例性核映射流程来执行的示例性卷积流程。

图5A图示了根据本发明的某些方面以模拟模式配置的混合模式PIM块的数据流。

图5B图示了根据本发明的某些方面以数字模式配置的混合模式PIM块的数据流。

图6是根据本发明的某些实施例的由以混合模式配置的PIM块实现的用于核映射的示例性方法的流程图。

本发明的实施例将参考附图予以描述。