[发明专利]用于执行高效记忆增强神经网络更新操作的技术

说明书

本发明的主题是“用于执行高效记忆增强神经网络更新操作的技术”。用于高效执行记忆增强神经网络（MANN）更新操作的技术包括具有电路的装置，所述电路配置成获得键值，所述键值可用于搜索与记忆增强神经网络相关联的存储器以得到一个或多个数据集。该电路还配置成执行随机关联搜索来标识存储器内满足键值的数据集的群组以及同时写入到数据集的所标识的群组来更新记忆增强神经网络。

背景技术

目前，存在关于如何向神经网络添加长期记忆（long term memory）的显著关注。一个方法是使用记忆增强神经网络（memory augmented neural network，MANN），诸如神经图灵机和微分神经计算机，它们基于可微分可训练的存储器，其中存储器与神经网络分离。用于MANN的关联存储器被视为“软存储器”，并且利用MANN并不简单且与传统的存储器访问完全不同。在这样的系统中，存储器通过键值（key）来被寻址并且是概率性的和“模糊的”。如果关于读取操作的期望键值与一个键值匹配80%，并且与另一个键值匹配20%，则读取操作将返回第一值的80%结合第二值的20%。对于写入，键值匹配的程度确定写入有多“强”。例如，对于80%匹配，则新值将是旧值的20%结合新值的80%。在操作中，为了更新MANN中的数据，通过迭代地比较每个数据集与参考数据集，计算机装置可以定位最接近地匹配参考数据集（例如，键值）的k个数据集（例如，行）的集合并且基于相似程度对该k个数据集中的每个数据集指派权重值（对于最接近匹配有更高的值）。之后，典型系统将使用k个最接近匹配数据集相应的权重值来将更新的数据迭代地写入到k个最接近匹配数据集的特定部分。执行上面的操作是时间且计算密集性的，并且呈现为对于高效利用MANN（例如，用于人工智能应用）的能力的瓶颈。

附图说明

通过示例并且不通过限制的方式在附图中说明本文描述的概念。为了说明的简单和清楚，附图中所说明的元件不一定按比例绘制。在认为适当的地方，在附图之间重复了参考标记来指示对应或类似的元件。

图1是用于执行高效记忆增强神经网络（MANN）更新操作的计算装置的至少一个实施例的简化图；

图2是图1的计算装置中所包括的存储器介质的至少一个实施例的简化图；

图3是可以由图1的计算装置实现的记忆增强神经网络（MANN）的至少一个实施例的简化图；

图4-5是可以由图1的计算装置执行的用于执行高效记忆增强神经网络（MANN）更新操作的方法的至少一个实施例的简化图；

图6和7是对存储器执行随机关联搜索的示例的简化概念图；

图8是模板的至少一个实施例的简化图，所述模板可以由图1的计算装置用于分散-聚集操作来更新记忆增强神经网络（MANN）；

图9是基于图8的模板将连续数据集映射到图1的计算装置的存储器介质中的位点的简化图；以及

图10是应用于具有三维交叉点体系结构的存储器介质的至少一个实施例的图8的模板的简化图。

具体实施方式

尽管本公开的概念易于有各种修改和备选形式，但其特定实施例已通过示例在附图中被示出并且将在本文被详细描述。然而，应当理解并没有将本公开的概念局限于所公开的特定形式的意图，而相反，意图是要涵盖与本公开和所附权利要求一致的所有修改、等同物和备选方案。