[发明专利]使用SIMD指令进行高效的直接卷积

说明书

包括一个或多个提供向量指令的处理器的计算机可以对源数据集实现直接卷积。源数据集可以是一维或多维的。对于向量指令的给定向量宽度w，使用向量指令并行计算输出数据集的w个连续数据元素。对于多维数据集，对于来自源数据集的一组向量的单个加载，计算输出数据集的多个向量。公开了新的向量指令，以改善卷积的性能，并使一个或多个处理器中的算术逻辑单元得到充分利用。

技术领域

本公开一般而言涉及数字信号处理、机器学习和神经网络，并且更特别地涉及用于使用卷积运算对信号进行滤波的系统和方法。

背景技术

在数字信号处理中，卷积是数据集中输入值及其紧邻值的加权和，产生输出数据集的输出值。这些数据集可以是一维或多维的，其中对应的数据组织确定作为输入值的紧邻邻居的值。卷积的加权值是在卷积内核中指定的，其中内核处理与输入和输出数据集相同数量的维度。卷积运算在大量各种信号处理应用中是有用的，并且是深度神经网络许多方面的运算不可或缺的一部分。

卷积可以在机器学习应用中广泛使用。在这种上下文中，通常使用许多小的卷积内核将卷积应用于单个数据集。因此，卷积通常是机器学习应用的计算密集部分，因此以高效的手段执行卷积运算具有越来越大的价值。

提高卷积效率的一种流行方法是降低卷积，将卷积运算转换成等效的计算过程，该过程可以通过优化的密集线性代数来解决。这允许使用优化的通用矩阵乘法(GEMM)例程，这些例程善于利用数据的固有重用、最小化片外带宽需求以及细分可以跨许多核心分布的计算。这种方法也有显著的缺点，降低卷积会增加额外的处理器开销，并显著增加数据大小。数据大小的增加使高速缓存变得困难，并增加了片外带宽的使用量，从而导致解决方案倾向于使用昂贵的高性能存储器来代替高速缓存和常规的存储器技术。

第二种方法是在频域中执行卷积。这要求将输入数据集和卷积内核分别转换到频域，将两个转换后的数据集一起相乘，并将逆频率变换应用于乘积。这种方法具有降低卷积的类似优点和缺点，乘法运算可以再次由GEMM例程实现，但是增加了计算开销，并且对于小的内核大小，存储器占用量可能急剧增加。在使用许多小内核的机器学习应用中，由于需要将许多小内核转换到频域，因此频域中的卷积不受欢迎。

第三种方法，通常称为“直接卷积”，将卷积滤波器直接应用于时域或空间域中的数据。这种方法避免了前述方法的额外计算开销和存储器增长，但处理器利用率低得多、并行性和重用率降低，或者硬件仅专用于解决卷积问题。典型地，此类硬件没有利用常规硬件的现有资源，并且对于给定的深度神经网络进行编程和优化并非易事。

发明内容

描述了用于使用提供向量指令的中央处理单元(CPU)来提供高效的直接卷积运算的方法和系统。高效的直接卷积运算在机器学习和深度神经网络应用中是有用的，在这些应用中，卷积运算可能需要大量的存储器带宽和计算资源。这些卷积应用的特征通常是使用较小的卷积内核大小，否则直接卷积方法将受到存储器带宽的限制。通过使用本文公开的方法在主CPU上实现直接卷积，系统可以避免对专用硬件加速器或通用GPU(GPGPU)解决方案的需求，从而在这些应用中实现更好的性能伸缩，同时在通常用于机器学习应用的较小内核大小中充分利用计算资源以及高速缓存和存储器带宽。

为了增加硬件中的数据级并行度，处理器可以包括向量指令，其在诸如单指令多数据(SIMD)微体系架构中为每个执行的指令提供并行执行通道。这种类型的微体系架构可以为某些应用提供比单通道或通用微体系架构更高的吞吐量。虽然通用微体系架构对寄存器中包含的数据的单个通道进行操作，但是SIMD微体系架构对包含在由多个独立数据通道组成的向量中的数据进行操作。

在一些实施例中，加载多个SIMD源向量，一个源向量与要计算的目的地向量对齐，一个或多个源向量包括相对于目的地向量的左半部分数据，并且一个或多个源向量包括相对于目的地向量的右半部分数据。这些源向量中的每一个都与各自的卷积系数向量相乘，然后加到累加器向量中。一旦所有源向量已被处理，累加器向量就被写入到目的地向量。