[发明专利]存储器内运算方法及装置

说明书

本发明公开了一种存储器内运算方法及装置，适于由处理器对存储器执行MAC运算。在所述方法中，通过截断权重的二进制数据的至少一部分分数位及计算剩余位的补码，将二进制数据的格式自浮点格式变换成量化格式，且将经过变换的二进制数据编程至存储器的单元中。通过将输入信号的二进制数据迭代地输入至存储器中、对存储器的输出进行整合以及基于整合的输出来调整编程至单元的权重来执行调整程序。基于减少每一权重的二进制数据中值为一的位的几率来重塑权重的二进制数据。重复调整程序，直至满足结束条件为止。

技术领域

本发明是关于计算方法及计算装置，且更特定而言，是关于一种存储 器内运算方法及装置。

背景技术

相较于传统机器学习方法，循环神经网络(Recurrent neural network； 简称RNN)已展示其在诸如图像识别及语音增强的若干领域上达成较大 准确度的能力。然而，在当前范纽曼(Von-Neumann)架构上进行RNN 时已出现若干挑战。举例而言，在全连接状神经网络中，在进行RNN时 处理单元与芯片外存储器单元之间的过度数据移动，将引发效能限制及高 功率消耗。

为桥接计算单元与存储器单元之间的隔阂，存储器内计算的概念被广 泛地提出，且具有电阻性随机存取存储器(Resistive Random-Access Memory；ReRAM)的忆阻器为最密集研究的解决方案之一。ReRAM(新 兴的非易失性存储器(non-volatile memory；简称NVM)之一)通过改变 单元的电阻来存储数据，且经过证明拥有计算及存储的两种能力。具体而 言，忆阻器通过设定不同输入电压及电阻值以分别表示输入值及权重值， 而对模拟态样进行数字RNN运算，亦即乘加(Multiply-and-Accumulate； 简称MAC)运算。

举例而言，图1绘示通过使用忆阻器进行MAC运算的计算的实例， 此实例旨在计算∑(V_n×G_n)的结果。在此实例中，每一字线通过位在3D 空间中交叉点处的ReRAM单元连接至每一位线。通过克希荷夫电流定律 (Kirchhoffs current law；简称KCL)，在给定对应字线的电压V1及V2的 情况下，每一ReRAM单元的通过电导G1、G2、G3、G4感应的出现的电 流I1、I2、I3、I4瞬时地与对应位在线的电流I5及I6相加。通过感测每 一位在线的电流同时撷取MAC运算的结果，其中I5的值等于V1×G1+ V2×G2且I6的值等于V1×G3+V2×G4。

然而，归因于忆阻器中总电流的重叠分布，RNN的准确度显著降低。

举例而言，图2绘示忆阻器中的所有单元的输出电流的分布。当将预 定义电压施加至输入线时，所有单元的输出电流的可能分布所绘示的x轴 指示电流且y轴指示频率的图2中。当更多单元用于MAC运算时，分布 变得更宽。如图2中所绘示，当16个单元用于MAC运算时，如图2中所 绘示的分布，将呈现输入值的17个可能组合，其中绘示于图2左侧的分 布22可代表零值，此分布在总电流变得更大时会变得更宽。因此，重叠 变化误差的几率变得更高。

发明内容

鉴于上述内容，本发明提供一种能够减少重叠变化误差且增大计算的 准确度的存储器内运算方法及存储器内运算装置。