[发明专利]一种基于线性无关的结构化剪枝方法

权利要求书

1.一种基于线性无关的结构化剪枝方法，其特征在于，所述方法具体包含以下步骤：

步骤一、根据不同的计算机视觉任务，在数据集上训练一个深度网络模型；

步骤二、计算某个卷积层卷积核之间的冗余性，并对每个卷积层的卷积核进行FM变换，对变换后的矩阵计算极大线性无关组；

步骤三、对剪枝网络所有的卷积层重复步骤二，计算每个卷积层的极大线性无关组，得到剪枝之后的模型；

步骤四、使用训练数据对步骤三生成的剪枝之后的模型进行微调训练，获得剪枝之后模型的权重。

2.如权利要求1所述的一种基于线性无关的结构化剪枝方法，其特征在于，所述方法还包括：

步骤五、在验证集上对剪枝前后模型的性能进行验证。

3.如权利要求1或2所述的一种基于线性无关的结构化剪枝方法，其特征在于，步骤二中，所述FM变换的具体过程为：

设定某个卷积层表示为：

其中，O_i为第i层卷积层，n为该层卷积层中的第n个通道卷积核；

C_out表示该卷积层卷积核个数，则每个卷积核的尺寸表示为：

C_in×K×K；

其中，K为卷积核的Kernel size，C_in为该卷积核的通道个数；

将该卷积层每个卷积核拉伸为一维向量，则拉伸之后的向量尺寸为：

1×C_in×K×K；

将多个卷积核的向量合并为矩阵，则该矩阵的尺寸为：

C_out×(C_in×K×K)。

4.如权利要求3所述的一种基于线性无关的结构化剪枝方法，其特征在于，步骤二中，所述对变换后的矩阵计算极大线性无关组的具体过程为：

对经过FM变换后的卷积层的矩阵进行行列式变换，其中，行向量全为零为线性相关的向量，该向量所对应的卷积核为需要做剪枝的卷积核；

线性无关的向量表示为：

线性相关的向量表示为：

式中，m为线性相关的向量个数，n为线性无关的向量个数；

根据极大线性无关组的性质，线性相关的向量被线性无关的向量线性表示，即：

W_s＝A*W_p； (1)

A＝{α₁,α₂,α₃…α_m}，α_k∈R^1×n，k∈{1,2，…m}； (2)

其中，式(2)中k为线性相关的向量组索引，因此，W_s^k＝α_k*W_p，则第k个线性相关的向量等于相关系数矩阵第k行和线性无关向量组乘积求和的结果：

即：