[发明专利]一种端到端CNN加速器及剪枝模型压缩方法

说明书

本发明提供了一种端到端CNN加速器及剪枝模型压缩方法，基于EEG评估持续注意力水平，方法包括：对CNN模型依次进行组卷积、全局平均池、近零剪枝、偏差驱动剪枝、权重聚类和量化步骤，得到压缩后的CNN模型；其中，所述CNN模型由四个卷积块、一个全局平均池化层和一个线性层组成，每个卷积块包括一维卷积层、一维批量归一化层和校正线性单元层。所述加速器由FPGA实现，具体包括：两两互相连接的控制器、片上块随机存取存储器、处理引擎阵列。本发明达到183.11倍的模型压缩比，在二元注意水平分类任务上达到了84.2％的独立于被试的准确率。本发明在FPGA上达到了0.11W的设计功耗和8.19GOps/W的能效。

技术领域

本发明涉及CNN加速器技术领域，具体涉及一种用EEG进行持续注意力水平评估的端到端CNN加速器及剪枝模型压缩方法。

背景技术

脑机接口(BMI)旨在建立人脑与外部世界之间的有效沟通渠道。持续注意力水平评估是BMI最关键的应用场景之一。它可以用于普遍存在的场景，如注意缺陷多动障碍(ADHD)的诊断和课堂互动效率。

前额脑电图(EEG)是BMI或脑机接口(BCI)应用中常见的生物标记之一。大量文献探讨了脑电图与人类精神状态之间的关系。研究发现，时域特征(如移动性)和频域特征(如频带能量)都与持续的注意力水平有关。然而，以前的算法和系统仍然是基于手工特征设计的。鉴于EEG与注意水平相关，基于端到端神经网络(NN)的方案有望获得更好的注意水平分类精度。此外，尽管目前有方案将算法应用到移动设备中，但仍然缺乏低功耗的硬件解决方案，用于长期、实时持续的注意力水平监测。

随着基于神经网络的模型在生物医学信号处理等领域取得巨大成功，神经网络加速器的设计吸引了越来越多研究人员的关注。有研究人员提出了一种基于现场可编程门阵列(FPGA)的基于脑电信号的情绪识别的生物神经网络，其具有0.15W的低功耗。然而，它使用了一种传统的分离特征提取和分类模块的方案。特征提取程序离线运行，而CNN仅被用作分类器，因此不适合开发便携式BMI。还有学者分别开发了用于基于EEG的癫痫检测和基于心电图(ECG)的心跳分类的端到端CNN。前者在硬件上实现了接近100％的癫痫检测准确率，但在临床实践中，1W以上的功耗仍然是一个问题。后者中的轻型一维CNN获得了较高的吞吐量效率和分类精度。然而，使用只有11k权重的模型处理生物医学信号处理中更困难的任务是一个挑战。

发明内容

本发明的目的是通过以下技术方案实现的。

根据本发明的第一个方面，提供了一种基于偏差驱动的剪枝模型压缩方法，基于EEG评估持续注意力水平，包括：

对CNN模型依次进行组卷积、全局平均池、近零剪枝、偏差驱动剪枝、权重聚类和量化步骤，得到压缩后的CNN模型；其中，

所述CNN模型由四个卷积块、一个全局平均池化层和一个线性层组成，每个卷积块包括一维卷积层、一维批量归一化层和校正线性单元层。

进一步地，每个卷积层的内核大小为16。

进一步地，所述组卷积如等式(1)所示，

分组卷积中的边界点s和e由公式(2)和(3)计算，其中g是组号；

Cout和Cin分别表示输出映射和输入映射的通道号，g为常数。

进一步地，所述近零剪枝包括：去除预设数量个绝对值较小的权重。

进一步地，所述偏差驱动剪枝包括：在所述CNN模型中，为前三个批量归一化层设置三个不同的阈值，对于批量归一化层输出的每个通道，当BN偏差小于阈值时，该通道的卷积权重被修剪。

进一步地，所述权重聚类包括：对每个卷积层的权值进行K均值聚类。