[发明专利]使用低位宽点积引擎对高位宽数求和

说明书

本申请涉及使用低位宽点积引擎来对高位宽数字求和。一种设备(例如，集成电路芯片)包括点积处理组件、数据对齐组件和累加器。点积处理组件被配置为计算第一组元素与第二组元素的点积，该第一组元素存储在第一存储单元中，其中：使用第一数量的位来表示第一组元素中的每个元素，使用大于第一数量的位的第二数量的位来表示存储在第一存储单元中的一组值中的每个值，并且该组值中的每个值被存储为跨越第一组元素的元素中的多于一个元素的分割段。数据对齐组件被配置成接收点积处理组件的结果，并修改点积处理组件的结果中的一个或更多个。累加器被配置为对数据对齐组件的输出求和，以至少部分地确定该组值的和。

发明背景

使用神经网络可以解决一整类复杂的人工智能问题。许多神经网络所需的常见运算包括例如，在执行矩阵运算时的求和、乘法和点积。由于人工智能问题通常是计算和数据密集型的，所以硬件解决方案通常有利于提高性能。创建一个灵活且计算效率高的硬件平台是一项技术挑战。因此，存在对针对高效、高吞吐量硬件方案的技术的需求，该技术不会引入显著的硬件复杂性和费用。

附图简述

在以下详细描述和附图中公开了本发明的各种实施例。

图1是示出用于解决人工智能问题和其他计算问题的系统的实施例的框图。

图2是示出用于解决人工智能问题和其他计算问题的处理元件的实施例的框图。

图3是示出用于在硬件中执行点积运算的过程的实施例的流程图。

图4是示出使用低位宽(low-bit-width)点积引擎处理数字组的系统的实施例的框图。

图5是示出与处理整数相关的示例数据格式的示意图。

图6是示出与处理浮点数相关的示例数据格式的示意图。

图7是示出使用低位宽点积引擎处理数字组的过程的实施例的流程图。

详细描述

本发明可以以多种方式实现，包括作为过程；装置；系统；物质的组成；体现在计算机可读存储介质上的计算机程序产品；和/或处理器，例如被配置为执行存储在耦合到处理器的存储器上和/或由该存储器提供的指令的处理器。在本说明书中，这些实现或者本发明可以采取的任何其他形式可以被称为技术。通常，在本发明的范围内，可以改变所公开的过程的步骤顺序。除非另有说明，否则被描述为被配置成执行任务的诸如处理器或存储器的组件可以被实现为在给定时间被临时配置为执行任务的通用组件或者被制造为执行任务的特定组件。如本文所使用的，术语“处理器”指的是被配置成处理数据(例如计算机程序指令)的一个或更多个设备、电路和/或处理核心。

下面提供了本发明的一个或更多个实施例的详细描述以及说明本发明原理的附图。结合这些实施例描述了本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求限定，并且本发明包括许多替代、修改和等同物。为了提供对本发明的全面理解，在以下描述中阐述了许多具体细节。这些细节是出于示例的目的而提供的，并且本发明可以根据权利要求来被实施，而不需要这些具体细节中的一些或全部。为了清楚起见，没有详细描述与本发明相关的技术领域中已知的技术材料，以免不必要地模糊本发明。

公开了一种用于提高硬件中数值处理效率的设备。所公开的设备包括：点积处理组件，该点积处理组件被配置为计算第一组元素与第二组元素的点积，该第一组元素存储在第一存储单元中，其中：使用第一数量的位来表示第一组元素中的每个元素，使用大于第一数量的位的第二数量的位来表示存储在第一存储单元中的一组值中的每个值，并且该组值中的每个值被存储为跨越第一组元素的元素中的多于一个元素的分割段(splitsegment)；数据对齐组件，该数据对齐组件被配置为：接收点积处理组件的结果，并修改点积处理组件的一个或更多个结果；以及累加器，该累加器被配置为对数据对齐组件的输出求和，以至少部分地确定该组值的和。所公开的设备的实际和技术益处包括增加关于数字处理的灵活性，例如，使用较低位宽的点积引擎对较高位宽的数字求和的能力。