[发明专利]具有记录及回放支持的任务关键型AI处理器

说明书

本文中所述的实施例提供任务关键型人工智能(AI)处理器(MAIP)，其包括指令缓冲区、处理电路、数据缓冲区、命令电路、以及通信电路。在操作期间，该指令缓冲区存储第一硬件指令及第二硬件指令。该处理电路执行该第一硬件指令，其计算AI模型的中间阶段。该数据缓冲区存储由执行该第一硬件指令所生成的数据。该命令电路确定该第二硬件指令是用于传送来自该数据缓冲区的该数据的硬件启动存储指令。基于该硬件启动存储指令，该通信电路经由通信接口将来自该数据缓冲区的该数据传送至包括该任务关键型处理器的计算系统的存储器装置。

交叉参考

本申请要求2018年6月5日所提交的美国非临时申请号16/000,718的权益，该美国非临时申请要求2018年1月19日所提交的美国临时申请号62/619,505，2018年3月6日所提交的美国临时申请号62/639,451，2018年3月9日所提交的美国临时申请号62/640,800，以及2018年4月9日所提交的美国临时申请号62/654,761的权益。该美国非临时申请及美国临时申请通过参考包括于此。

技术领域

本披露通常涉及人工智能(artificial intelligence；AI)的领域。尤其，本披露涉及用于促进能够处理实时系统上的任务关键型AI应用的处理器的系统及方法。

背景技术

AI应用的指数级增长已使它们成为任务关键型系统(例如实时自动驾驶车辆或关键金融交易)的受欢迎的媒介。此类应用带来对有效AI处理的不断增长的需求。因此，设备供应商竞相制造具有多种功能(例如图形处理)的更大且更快的处理器，以有效处理AI相关应用。不过，图形处理器可能不适合有效处理任务关键型数据，该图形处理器可能受处理限制及设计复杂性等因素的限制。

随着越来越多的任务关键型特征(例如，依赖于快速且准确的决策的特征)被实施于各种系统中(例如，车辆的自动制动)，AI系统作为系统设计者的价值主张正变得越来越重要。通常，AI系统使用数据、AI模型、以及计算能力。输入装置(例如，传感器、相机等)的广泛使用导致AI系统所使用的大量数据的生成，其常常被称为“大数据”。AI系统可使用大而复杂的模型，从而可从大数据推断决策。不过，在大数据上执行大模型的效率依赖于计算能力，它可能成为AI系统的瓶颈。为解决此问题，AI系统可使用能够处理AI模型的处理器。

因此，常常想要为处理器配备AI能力。通常，常使用张量来表示与AI系统相关的数据，存储AI操作的内部表示，以及分析和训练AI模型。为有效地处理张量，一些供应商使用张量处理单元(tensor processing unit；TPU)，该些单元是为处理基于张量的计算而设计的处理单元。TPU可用于运行AI模型，并可为低精度数学运算提供高吞吐量。

尽管TPU为AI系统带来许多想要的特征，但对于处理任务关键性情景，一些问题仍未被解决。

发明内容

本文中所述的实施例提供任务关键型人工智能(AI)处理器(mission-criticalartificial intelligence；MAIP)，其包括指令缓冲区(buffer)、处理电路、数据缓冲区、命令电路、以及通信电路。在操作期间，该指令缓冲区存储第一硬件指令及第二硬件指令。该处理电路执行该第一硬件指令，其计算AI模型的中间阶段。该数据缓冲区存储由执行该第一硬件指令所生成的数据。该命令电路确定该第二硬件指令是用于传送来自该数据缓冲区的该数据的硬件启动存储指令。基于该硬件启动存储指令，该通信电路经由通信接口将来自该数据缓冲区的该数据传送至包括该任务关键型处理器的计算系统的存储器装置。

在该实施例的一个变体中，该通信接口为以下的其中之一：周边组件互连快速(peripheral component interconnect express；PCIe)接口；以及网络接口卡(networkinterface card；NIC)。

在该实施例的一个变体中，该MAIP还包括加密电路，其加密该数据缓冲区中的该数据。