[发明专利]EfficientNet的注意力机制的硬件计算方法

权利要求书

1.一种EfficientNet的注意力机制的硬件计算方法，其特征在于，包括以下步骤：

S1：通过深度卷积计算引擎和注意力机制硬件完成EfficientNet的深度卷积和注意力机制运算的计算；

S2：通过深度卷积计算引擎和注意力机制硬件完成EfficientNet的MBconvBlock的运算；

所述步骤S1中，在全局控制单元的控制下，从特征图缓冲区读取特征图，从权重缓冲区读取权重，进行深度卷积运算，进行Hswish函数激活；

Hswish函数激活的硬件数量等于卷积计算阵列每个周期输出的结果的个数，深度卷积计算引擎并行输出的结果能立刻进行激活，实现输出数据流过Hswish函数激活硬件；

所述步骤S1中，得到经过激活的结果送入注意力模块硬件，其过程为将激活的结果按同一个输出通道的安排送入加法树进行累加，同时每个周期的激活的结果以并行的数据读写方式写入深度卷积引擎输出特征缓冲区；

步骤S1中，等到深度卷积阵列把该深度卷积层的运算算完后，此时同一个输出通道的激活结果也累加完，求平均数后得到了用于一维降维卷积的系数；当得到用于一维降维卷积的全部系数，在几个时钟周期内执行完一维降维卷积，其后执行一维升维卷积，得到全部的用于通道相乘的系数；

步骤S1中，以并行数据流的方式从深度卷积引擎输出特征缓冲区读出特征送入乘法器完成每个通道的特征和对应每个通道的系数的相乘，此时得到的特征图即是经过注意力模块运算的特征图，以并行数据方式送去输入特征缓冲区；

步骤S2中，实现深度卷积引擎的分时复用计算MBconvBlock块的第一层卷积，第二层深度卷积和第三层卷积；加载第一层卷积的输入特征和权重，正常启动卷积计算，但不启动注意力机制硬件；

步骤S2中，等算完第一层卷积的时候，将输出特征缓冲区的结果送入特征缓冲区，开始进行深度卷积和注意力机制的运算工作；

步骤S2中，深度卷积输出特征缓冲区的数据经过通道乘法器阵列送到输入特征缓冲区，开启第三层卷积的运算；

步骤S2中，如果MBconvBlock块有输入特征残差项相加，则将MBconvBlock块的第一层逐点卷积的输入特征和第三层逐点卷积的输出特征图进行相加；

步骤S2中，经过三个卷积层计算而完成了一个MBconvBlock块的计算，将特征结果送出到外部存储器。