[发明专利]一种基于字典深度学习的半监督图像分类方法

说明书

本发明公开了一种基于字典深度学习的半监督图像分类方法，该方法步骤如下：根据深度神经网络的Softmax代价函数构建有标签数据的代价函数L^l(Z^l,Y^l)、无标签数据的代价函数L^u(Z^u,P)：根据有标签数据的代价函数L^l(Z^l,Y^l)、无标签数据的代价函数L^u(Z^u,P)构建总体模型函数；使用交替优化算法以训练总体模型，训练优化过程包括：基于字典学习和Softmax网络信息的联合类别估计、神经网络和无标签类别估计的联合学习。本发明用字典学习与深度神经网络的Softmax分类器结合，强化了深度神经网络对无标签数据的探索能力，极大地提升网络特征学习能力和分类器学习能力。本发明适用于计算机视觉或模式识别领域。

技术领域

本发明涉及计算机视觉和模式识别领域，更具体的，涉及一种基于字典深度学习的半监督图像分类方法。

背景技术

在计算机视觉和模式识别领域，图片分类是视觉技术中的基础。深度神经网络凭借其强大的特征表示能力和与人类视觉系统的相似架构，在图片分类任务中取得巨大的成功，引起研究者的广泛关注。为了提高图片分类精度，需要不断研发更强大更复杂的深度神经网络。但是，深度神经网络的成功严重依赖于大量有标签数据，而且越复杂的神经网络架构对标签数据的需求越大。但是，有标签数据的获取，需要通过大量人力去进行标注，非常地耗时耗力。当缺乏大量数据时，深度神经网络会出现称为“过拟合”的严重机器学习问题。与此同时，由于传感器与网络媒体技术的发展，无标签数据非常丰富而且更易于获取。因此，如何利用少量的有标签数据和丰富的无标签数据来训练出具有良好性能的深度神经网络非常关键。

因此半监督机器学习方法开始被引入深度学习领域中。传统的半监督方法致力于同时而有效地利用有标签数据和无标签数据，通常分为4类：协同训练方法，基于图的半监督学习，半监督支持向量机，半监督字典学习，尽管这些传统的半监督方法在一定的假设条件下，确实可以提升模型性能，但是传统的半监督方法通常都是在给定的特征下进行，其特征抽取过程独立于分类器的学习过程。在给定特征不满足分类器的假设情况下，半监督方法没有提升模型性能，甚至会出现损害。尽管半监督字典方法可以把无标签数据吸收到判别性字典学习中，但是却无法抽取有效的特征，因此无法很好地估计无标签数据的类别。而现存的半监督深度学习方法，如Lee等在2013年提出的Pseudo-Label,虽然可以高层抽象特征，但却无法探索无标签数据内在的判别性信息。

发明内容

本发明为了解决深度神经网络能获取有标签数据的有效特征，却无法获取无标签数据和半监督字典方法能把无标签数据吸收到判别性字典学习中，却无法抽取无标签数据的有效特征的问题，提供了一种基于字典深度学习的半监督图像分类方法，其使用字典学习与传统深度神经网络的Softmax分类器进行互补，能对无标签数据同时进行特征学习和分类器学习，极大地提升网络性能。

为实现上述本发明目的，采用的技术方案如下：一种基于字典深度学习的半监督图像分类方法，该方法步骤如下：

S1：构建深度神经网络，根据深度神经网络的Softmax代价函数构建有标签数据的代价函数L^l(Z^l,Y^l)、无标签数据的代价函数L^u(Z^u,P)，所述无标签数据的代价函数L^u(Z^u,P)包括基于字典表示和Softmax网络信息的联合预测联合类别估计p的熵正则项H(p_r)；

S2：根据有标签数据的代价函数L^l(Z^l,Y^l)、无标签数据的代价函数L^u(Z^u,P)构建总体模型函数；

S3：使用有标签数据的深度特征表示来构建字典，计算字典表示系数和表示残差；