[发明专利]基于在线深度学习的数据集自适应裁减方法

说明书

本发明公开了一种基于在线深度学习的数据集自适应裁减方法，针对图像数据集选择一种在线深度学习神经网络架构；使用道路图像数据集对所选择的架构进行训练，得到收敛的网络模型；利用机器学习归类算法学习对输入数据集的特征进行在线学习，根据学习结果对图像数据集类别打标签；强化模型依据数据集类别标签识别当前状态，依据强化学习策略选择一种动作，即对逐个通道分别选择一种结构性裁减策略进行裁减，执行该动作并得到该动作的反馈。通过在线实时训练，强化模型最终可以依据数据集类型选择最优的裁减策略以实现精度和开销的均衡。

技术领域

本发明属于深度学习技术，具体为一种基于在线深度学习的数据集自适应裁减方法。

背景技术

目前，深度强化学习已经被应用于无人驾驶汽车领域。深度学习可以分为在线学习和批量学习两种策略，其中批量学习策略无法克服数据集的流变化，内存空间消耗高以及数据集可能存在概念漂移问题，而无人驾驶汽车由于场景变化剧烈，数据集特征差异大，嵌入式系统内存资源有限，因此在线学习策略被广泛应用。然而，在线学习策略无法在线下训练过程中选择模型，在线训练实现模型选择耗时漫长且需要浪费大量人力，因此现实中往往选择过复杂模型来确保足够学习能力，这样就造成算力资源和内存资源的浪费。通常模型裁减压缩是解决这个问题的是一个有效办法，但是目前的裁减方法都针对实验平台中的单一数据集，忽视了无人驾驶汽车场景下剧烈的数据集特征变化对不同正则化惩罚项的需求，无法充分适应数据集的不同特征来实现精度，计算开销和内存开销的均衡。如何制定适应数据集特征的动态裁减策略，成为一个亟待解决的问题。

“Amc:Automl for model compression and acceleration on mobiledevices.Proceedings oftheEuropean Conference on Computer Vision(ECCV),2018.”公开了一种移动平台的神经网络自动压缩技术，基于强化学习，以层数、卷积核尺寸、输入维度、已裁减和剩余权重数等参数为模型状态，以0到1之间的连续函数作为当前层稀疏程度来组建动作空间，以预测精度作为反馈来搭建强化模型以实现模型的自动压缩裁减。但该方案状态定义中没有充分考虑无人驾驶汽车场景中数据集的动态特征，动作定义中采用单一结构性裁减策略，忽视了数据集中变化的动态特征对不同裁减策略的需求，反馈定义中仅考虑预测精度，没有考虑模型的计算开销和内存开销，导致无法数据集的动态特征来实现精度和开销的均衡。另外，模型使用逐层裁减的方式，忽视了层次间的关联性，容易导致次优解。

发明内容

本发明提出了一种基于在线深度学习的数据集自适应裁减方法。

实现本发明的技术解决方案为：一种基于在线深度学习的数据集自适应裁减方法，包括：

根据采集的数据集确定神经网络架构；

使用KNN分类算法对数据集进行分类获得数据集类别标签；

强化模型根据数据集类别和神经网络层数、卷积核尺寸、已裁减通道数和剩余通道数识别待裁剪神经网络当前状态；

根据贪婪算法选择执行探索或者利用，其中探索指随机选择一种裁剪策略，利用指根据当前状态从Q表格选取Q值最大的动作；

根据选择的探索或利用选取相应的动作并执行；

神经网络进行预测及反向传播训练后计算奖励反馈值并将反馈值更新到Q表格。

优选地，所述神经网络架构包括卷积层、池化层、全连阶层三种隐层。

优选地，确定神经网络架构的具体方法为：将数据集输入神经网络，依次增加每种隐层的层数以及深度，直至神经网络收敛至预测结果的精度大于给定阈值。

优选地，所述Q表格维护在内存中，用来保存强化学习的学习成果，表格纵轴为所有状态，横轴为所有动作，每个状态-动作栏目维护该状态-动作的Q值。