[发明专利]通过数据共享和分配增强人工智能/机器硬件的处理性能

说明书

具有与一个或多个存储器组件协作的示例性DNN模块的示例性人工智能/机器学习硬件计算环境可以执行数据共享和分发以及缓冲器数据的重用，以减少存储器组件读/写的数目，从而增强整体硬件性能并降低功耗。说明性地，根据示例性硬件的所选操作来读取来自协作存储器组件的数据，并将其写入对应的其他存储器组件以供一个或多个处理元件(例如，神经元)使用。以该方式读取数据，来优化每个处理周期的一个或多个处理元件的参与，以及重用先前存储在一个或多个协作存储器组件中的数据。可操作地，将写入的数据在被处理元件消费之前复制到阴影存储器缓冲器。

背景技术

通过示例性人工智能/机器学习硬件环境表达的深度神经网络(“DNN”)在经过生物神经系统(诸如人脑)中的信息处理和通信模式之后被松散地建模。DNN可以被用来解决复杂的分类问题，诸如但不限于对象检测、语义标记和特征提取。结果，DNN构成了许多人工智能(“AI”)应用的基础，诸如计算机视觉、语音识别和机器翻译。DNN可以在许多上述领域中匹配或超过人类的准确性。

DNN的高性能源于它们在使用大数据集上的统计学习来获得输入空间的有效表示之后，从输入数据中提取高级特征的能力。然而，DNN的优越性能是以高计算复杂性为代价的。高性能通用处理器，诸如图形处理单元(“GPU”)，通常用于提供许多DNN应用所需的高水平计算性能。

虽然如GPU一类的通用处理器可以为实现DNN提供高水平的计算性能，但是这些类型的处理器通常不适合用于在低功耗至关重要的计算设备中长时间执行DNN操作。例如，诸如GPU一类的通用处理器可能不适合用于在电池供电的便携式设备中执行长时间运行的DNN任务，如智能电话或替代现实/虚拟现实(“AR/VR”)设备，其中需要降低功耗以延长电池寿命。

在执行连续的DNN任务(诸如检测人体移动)的同时降低功耗在非电池供电设备中也可以是重要的，例如诸如通过以太网供电(“POE”)安全相机。在该具体示例中，POE交换机只能提供有限量的功率，而如安全相机等POE设备的功率降低可以导致POE交换机的更低的功耗和成本。

已经开发了专用集成电路(“ASIC”)，与通用处理器相比，其可以提供高性能DNN处理，同时降低了功耗。然而，尽管在该领域取得了进步，但仍然需要改进性能并降低执行DNN处理的ASIC的功耗，特别是用于低功耗至关重要的计算设备。

当前的实践提供了管理存储器和/或处理的各种机制，以确保请求用于示例性计算环境的共享资源的组件之间的平衡。利用当前的实践，这种存储器/处理器管理不足以优化在DNN模块的协作存储器元件之间执行的读/写操作的数目以及每个可用处理元件(诸如协作DNN芯片的神经元)的总体效用。此外，当前的实践集中于系统的整体处理/存储器管理，而不考虑人工智能/机器学习硬件组件的总体功耗和处理性能。

关于这些和其他技术挑战，本文所公开的内容被呈现。

发明内容

公开了一种表示为DNN模块的人工智能/机器学习硬件，其可以通过执行优化的数据共享和分发以及跨示例性环境的各种协作存储器组件的数据重用来增强模块的处理单元的处理性能，以及通过增强的存储器管理降低功耗。本文未具体提及的其他技术益处也可以通过所公开的主题内容的实现来实现。

为了实现上文简要提到的技术益处，说明性地，在具有DNN模块的示例性计算环境中，可以操作DNN模块以优化数据共享和分发以及跨一个或多个协作存储器组件(诸如示例性神经元缓冲器和/或线缓冲器)的数据重用。说明性地，可以测量性能的两个方面。第一组件(计算)可以根据多个单元来测量，包括但不限于每秒的浮点操作(例如，GFlops/s)和每秒的乘法加法(例如，GMAC/s)。第二组件(数据传输)可以通过每秒传输的字节数(例如GBytes/s)来测量。为了确保示例性DNN模块的最高性能，可以优化和平衡计算和数据传输速率两者。这种优化可以导致由本文所描述的示例性人工智能/机器学习硬件实现的整体处理性能的增强和总体降低的功耗。