[发明专利]基于预训练模型滤波器提取的卷积神经网络初始化方法

摘要

本发明提供了一种基于预训练模型滤波器提取的卷积神经网络初始化方法，涉及视频处理技术领域，本发明利用最小熵损失及最小重构误差方法，提取预训练模型中滤波器参数，用以初始化目标任务网络模型，实现满足实际应用问题中小规模网络初始化问题。本发明由于使用最小熵损失及最小线性重构方法，从预训练模型中提取滤波器参数，对目标任务网络模型进行初始化，本发明不要求目标任务网络结构和预训练网络结构一致，可使目标任务根据实际应用灵活设计网络结构，满足实际应用问题中内存开销与计算速度要求。

主权项

1.一种基于预训练模型滤波器提取的卷积神经网络初始化方法，其特征在于包括下述步骤：第一步：针对目标任务设计CNN网络结构；第二步：选择预训练网络模型；第三步：根据目标任务网络结构，使用最小熵损失或最小重构误差两种方法提取预训练模型中滤波器参数；定义Fs＝{fi}M，Fs表示预训练模型中M个滤波器，滤波器大小为ks×ks，目标任务网络结构有N个滤波器Ft，滤波器大小为kt×kt，假设滤波器Fs与滤波器Ft处于相同卷积层深度；a)基于最小熵损失的滤波器参数提取方法利用高斯混合模型描述预训练模型滤波器概率分布，滤波器集合Fs高斯混合分布g(Fs)表示为如下形式： g ( F s ) = { π i s , g i ( F s ) } i = 1 C ]]>公式(1)中，C表示混合模型中高斯模型个数，gi(Fs)表示第i个高斯模型，表示对应第i个高斯模型的先验概率，令Fs(i)表示滤波器集合Fs中去除第i滤波器后构成的滤波器集合，利用Kullback-Leibler分散表示混合模型概率分布g(Fs)与g(Fs(i))之间的交叉熵为如下形式： D k l ( g ( F s ) | | g ( F s ( i ) ) ) = Σ j π j s l o g Σ k π k s exp { - D k l ( g i ( F s ) | | g k ( F s ) ) } Σ l π l s ( i ) exp { - D k l