[发明专利]一种基于NUMA亲和性的FFT卷积算法并行实现方法及系统

说明书

本发明公开了一种基于NUMA亲和性的FFT卷积算法并行实现方法及系统，方法包括：对输入数据进行快速傅里叶转换，并将第一快速傅里叶转换结果存储至指定的非一致性内存访问结点上；对权重进行快速傅里叶转换，并将第二快速傅里叶转换结果存储至指定的非一致性内存访问结点上；基于第一快速傅里叶转换结果和第二快速傅里叶转换结果实现非一致性内存访问级和多核级并行复数矩阵乘，并将复数矩阵乘的结果平均分布到所有非一致性内存访问结点上；基于复数矩阵乘的结果进行快速傅里叶逆转换，得到快速傅里叶卷积算法的输出。本发明能够显著降低NUMA架构上FFT卷积计算过程中的远程内存访问开销，提升NUMA架构上的FFT卷积的性能。

技术领域

本发明涉及FFT(fast Fourier transform，快速傅里叶转换)卷积算法技术领域，尤其涉及一种基于NUMA(Non Uniform Memory Access，非一致性内存访问)亲和性的FFT卷积算法并行实现方法及系统。

背景技术

卷积神经网络是深度学习最具代表性的算法之一，广泛应用于各种人工智能场景中。卷积操作通常占据了卷积神经网络的大部分计算开销。基于FFT的卷积算法可以有效降低卷积计算的复杂度，从而可以有效降低卷积的计算开销。如何在多核以及众核处理器上实现高性能的FFT卷积算法一直是学术界研究的热点。目前已有的工作均是面向基于UMA(Uniform Memory Access，一致性内存访问)架构的多核/众核处理器，并没有针对NUMA架构进行优化。在NUMA架构的众核处理器上，内核可以直接访问其所属NUMA结点的本地内存，并通过片上网络访问附属于其它NUMA结点的远程内存。因此，当内核和内存位于不同的NUMA结点时，内存访问延迟会显着增加。

因此，如何有效地降低NUMA架构上FFT卷积计算过程中的远程内存访问开销，提升NUMA架构上的FFT卷积的性能，是一项亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种基于NUMA亲和性的FFT卷积算法并行实现方法，能够显著降低NUMA架构上FFT卷积计算过程中的远程内存访问开销，提升NUMA架构上的FFT卷积的性能。

本发明提供了一种基于NUMA亲和性的FFT卷积算法并行实现方法，包括：

对输入数据进行快速傅里叶转换，并将第一快速傅里叶转换结果存储至指定的非一致性内存访问结点上；

对权重进行快速傅里叶转换，并将第二快速傅里叶转换结果存储至指定的非一致性内存访问结点上；

基于所述第一快速傅里叶转换结果和所述第二快速傅里叶转换结果实现非一致性内存访问级和多核级并行复数矩阵乘，并将复数矩阵乘的结果平均分布到所有非一致性内存访问结点上；

基于所述复数矩阵乘的结果进行快速傅里叶逆转换，得到快速傅里叶卷积算法的输出。

优选地，所述对输入数据进行快速傅里叶转换，并将第一快速傅里叶转换结果存储至指定的非一致性内存访问结点上，包括：

将卷积输入Input[B][C][H][W]划分成B×C×X×Δ个大小的分块，其中，B表示卷积计算中mini-batch的大小，C表示输入通道数，H和W分别代表卷积输入和输出的特征图高度和宽度，是划分的分块大小，其中，H_f和W_f表示卷积核的大小，表示向上取整；

通过每个处理器核独自处理每个大小的分块的快速傅里叶转换，将快速傅里叶转换的结果划分成2×L的元组，将所有元组平均分配存储到指定的非一致性内存访问结点，其中，L表示处理器的向量寄存器宽度；