[发明专利]一种具有稳定性能的深度学习方法

说明书

本发明提出一种具有稳定性能的深度学习方法，属于深度学习技术领域。该方法获取带有标注的图片数据集作为训练数据集，构建一个由深度特征提取器和分类器构成的深度学习网络；从训练数据集中随机选取一个批次的样本输入该网络，其中深度特征提取器输出该批次样本的原始特征并经过随机傅立叶特征变换后得到对应随机傅立叶表征矩阵；利用随机傅立叶表征矩阵对原始特征进行独立性检测，训练得到各样本对应权重；利用该权重对当前网络的预测损失值进行重加权后得到最终训练损失值并更新网络参数，直至深度学习网络训练结束。本发明可应用到存在跨分布问题的图片识别系统及目标检测系统中，解决由于训练数据与测试数据分布偏移产生的准确率下降问题。

技术领域

本发明属于图像识别、物体检测等技术领域，特别提出一种具有稳定性能的深度学习方法。

背景技术

目前深度学习在很多研究领域特别是计算机视觉领域(如图像识别，物体检测等技术领域)取得了前所未有的进展，比如残差卷积网络可以大大提高计算机视觉识别系统对图像的识别准确率，基于区域的卷积网络可以大大提高目标检测系统的准确率等等。很多基于深度学习的计算机视觉技术已远远超过传统方法。

而大部分当前的机器学习和深度学习算法都假设训练数据和测试数据满足独立同分布的性质，并在这种假设下取得了非常好的效果。但是在现实应用中测试数据的分布往往与训练数据不同，极易导致这些算法的准确率显著下降。在应用到真实场景的视觉分类系统，比如物体识别系统中，当目标图片来源并不明确或实际数据在模型训练阶段难以获取时，训练数据和测试数据之间往往会出现分布偏移，一般的深度模型的识别准确率会明显下降甚至完全失去识别能力。比如在图片分类任务中，如果在训练数据中狗通常在室内，而在测试数据中狗经常出现在沙滩上，则一般的深度模型很可能无法准确识别。

部分现有方法使用域适应技术改变训练数据的分布使其与测试数据分布趋于相同，而在实际应用中测试数据的信息往往难以获得。另外一些新的域泛化算法试图不使用测试数据而仅使用训练数据训练出具有泛化能力的深度模型，如Muandet等人提出的DG方法。这些算法需要训练数据具有明确并已标注的域类别的标签，而大部分现有数据集并不存在明显可分的分布多样性或其不易标注。比如对于一个从互联网收集的图片分类数据集，由于图片中可能涉及的视觉元素(如不同颜色、纹理、亮度等等)往往比较复杂，导致训练集的分布也较为复杂，制定域划分的标准也就非常困难。

在机器学习领域，有一些方法使用样本重加权的方法增强模型的泛化能力，但这些方法均针对线性模型或离散特征，所以目前针对非线性深度模型的连续特征的样本重加权是一个主要的挑战点。

发明内容

本发明的目的是为了克服已有技术的不足之处，提出一种具有稳定性能的深度学习方法。本发明可以提高深度模型跨分布泛化的能力；本发明不需要任何有关测试数据的信息以及训练数据上的分布标注即可完成训练；另外，本发明可以在平方开销下消除深度特征间的线形和非线性相关性。本发明可以应用到存在跨分布问题的图片识别系统以及目标检测系统中，解决由于训练数据与测试数据分布偏移产生的准确率下降问题。

本发明一种具有稳定性能的深度学习方法，其特征在于，该方法首先获取用于分类任务的图片数据集训练数据集并构建一个由深度特征提取器和分类器构成的深度学习网络；从训练数据集中随机选取一个批次的样本输入该网络，其中深度特征提取器输出该输入批次样本的原始特征并经过随机傅立叶特征变换后得到对应的随机傅立叶表征矩阵；利用随机傅立叶表征矩阵对原始特征进行独立性检测，训练得到输入批次各样本的对应权重；利用该权重对当前网络的预测损失值进行重加权后得到修正后的最终训练损失值并更新网络参数，直至深度学习网络训练结束，得到训练完毕的深度学习网络。该方法包括以下步骤：

1)获取训练数据集；

获取带有标注的可用于分类任务的图片数据集作为训练数据集，训练数据集中的每个训练样本包含图片和该图片对应的分类标签；

2)构建深度学习网络：