[发明专利]基于预训练模型滤波器提取的卷积神经网络初始化方法

权利要求书

1.一种基于预训练模型滤波器提取的卷积神经网络初始化方法，其特征在于包括下述步骤：

第一步：针对目标任务设计CNN网络结构；

第二步：选择预训练网络模型；

第三步：根据目标任务网络结构，使用最小熵损失或最小重构误差两种方法提取预训练模型中滤波器参数；定义Fs＝{fi}M，Fs表示预训练模型中M个滤波器，滤波器大小为ks×ks，目标任务网络结构有N个滤波器Ft，滤波器大小为kt×kt，假设滤波器Fs与滤波器Ft处于相同卷积层深度；

a)基于最小熵损失的滤波器参数提取方法

利用高斯混合模型描述预训练模型滤波器概率分布，滤波器集合Fs高斯混合分布g(Fs)表示为如下形式：

g ( F s ) = { π i s , g i ( F s ) } i = 1 C ]]>

公式(1)中，C表示混合模型中高斯模型个数，gi(Fs)表示第i个高斯模型，表示对应第i个高斯模型的先验概率，令Fs(i)表示滤波器集合Fs中去除第i滤波器后构成的滤波器集合，利用Kullback-Leibler分散表示混合模型概率分布g(Fs)与g(Fs(i))之间的交叉熵为如下形式：

D k l ( g ( F s ) | | g ( F s ( i ) ) ) = Σ j π j s l o g Σ k π k s exp { - D k l ( g i ( F s ) | | g k ( F s ) ) } Σ l π l s ( i ) exp { - D k l ( g i ( F s ) | | g k ( F s ) ) } - - - ( 2 ) ]]>

其中分别表示滤波器集合Fs中第j个及第k个高斯模型的先验概率，表示滤波器集合Fs(i)中第l个高斯模型的先验概率，Dkl(gi(Fs)||gk(Fs))}表示滤波器集合Fs中第i个高斯模型gi(Fs)与滤波器集合Fs中第k个高斯模型gk(Fs)的KL分散，Dkl(gi(Fs)||gl(Fs(i))表示滤波器集合Fs中第i个高斯模型gi(Fs)与滤波器集合Fs(i)中第l个高斯模型gl(Fs(i))的KL分散；

最后，利用公式(3)提取出N个交叉熵最小的滤波器：

F t = arg max 1 , ... , N Σ i = 1 N D k l ( g ( F s ) | | g ( F s ( i ) ) ) - - - ( 3 ) ]]>

对滤波器提取采用无放回的方式从Fs中提取滤波器；

b)基于最小重构误差的滤波器参数提取方法

在最小重构误差方法中，滤波器集合Fs中滤波器fi使用滤波器集合Ft中滤波器fj′线性重构表示，即其中权重因子为标量，N个构成权重向量Wi，滤波器集合Fs所有滤波器的重构误差表示为：

E = Σ i = 1 M | f i - Σ j N w j i f ′ j | 2 2 - - - ( 4 ) ]]>

公式(4)中，所有权重因子构成权重矩阵W，且W∈RM×N，N≤M，使用L1范式约束权重矩阵W，对滤波器提取问题，转换为如下优化问题的求解：

min Σ i = 1 M | f i - Σ j N w j i f ′ j | 2 2 + γ | W | 1 - - - ( 5 ) ]]>

其中，正则项|W|1为L1范式表示形式，采用L1正则化最小二乘法对公式(5)求解，γ为权重参数，调节正则项的比例系数；

第四步：根据目标任务网络结构中滤波器大小参数kt×kt，对提取的预训练模型中大小为ks×ks的滤波器进行双线性插值，目标任务网络中的滤波器Ft与提取出的预训练模型中滤波器Fs具有相同大小和规模，用滤波器Fs中的参数对滤波器Ft中的相应参数进行赋值，即可实现对目标任务网络的初始化。