[发明专利]一种基于字典深度学习的半监督图像分类方法

权利要求书

1.一种基于字典深度学习的半监督图像分类方法，其特征在于：该方法步骤如下：

S1：构建深度神经网络，根据深度神经网络的Softmax代价函数构建有标签数据的代价函数L^l(Z^l,Y^l)、无标签数据的代价函数L^u(Z^u,P)，所述无标签数据的代价函数L^u(Z^u,P)包括基于字典表示和Softmax网络信息的联合预测联合类别估计p的熵正则项H(p_r)；

S2：根据有标签数据的代价函数L^l(Z^l,Y^l)、无标签数据的代价函数L^u(Z^u,P)构建总体模型函数；

S3：使用有标签数据的深度特征表示来构建字典，计算字典表示系数和表示残差；

S4：根据步骤S3得到的字典表示残差计算根据计算H(p_r)；预设熵阈值λ，若H(p_r)大于预设阈值λ，则p_r会被设为0，其监督信号p_r将被阻挡；若H(p_r)小于等于预设阈值，则其监督信号p_r将被传播到深度神经网络，通过反向传播提升深度神经网络性能；

S5：根据上述步骤得到无标签数据的代价函数和有标签数据的代价函数，得到总体模型函数，并通过SGD算法，利用总体模型函数对深度神经网络进行训练；

S6：将完成训练的深度神经网络对未知的无标签数据进行分类处理，完成分类；

其中：(Z^l,Y^l)＝{(z_1:N,y_1:N)}表示有标签数据的深度特征；Y^l是有标签数据对应的标签；y_ji＝1表示第j个有标签数据z_j属于第i类；N是有标签数据的样本数；C是类别数；Z^u＝{z_N+1:N+M}表示无标签数据的深度特征；P＝{p_1:M}是无标签数据的类别估计；M是无标签数据的样本数；表示无标签数据第r类的深度特征；表示无标签数据的Softmax代价函数层前面的全连接层的输出；α表示无标签数据深度特征在子字典上的编码系数；D_i表示与第i类有关的子字典；

步骤S1，根据深度神经网络的Softmax代价函数构建无标签数据的代价函数L^u(Z^u,P)的过程如下：

C1：Softmax代价函数的Softmax归一化输出表示一个样本在C个可能类别上的概率分布，其公式表示如下：

C2：令表示无标签数据的Softmax代价函数层前的全连接层的输出，其公式简化如下：

C3：假设存在一个类别特定的字典D＝[D₁,D₂,…,D_C]，则无标签数据的代价函数L^u(Z^u,P)的表达式如下：

所述无标签数据的代价函数L^u(Z^u,P)包括基于字典表示和Softmax网络信息的联合预测、熵正则项H(p_r)；

其中：是与第i类有关的子字典，d是深度特征的特征维数，n_i是第i类有标签样本的个数；表示来自Softmax分类器的网络预测信息；α_ri是无标签数据的深度特征在子字典D_i上的编码系数；是类别估计概率，其第i个元素p_r,i表示第r个无标签数据属于第i类的概率，是基于类别特定表示残差；η表示超参数，η∈(0,1]；H(p_r)联合类别估计p的熵正则；λ表示预设阈值；是信息量，用于衡量网络预测类别估计的不确定度，当为1时，则为0，即确定其预测；β表示熵正则项的权重系数，用以控制熵正则项；

基于字典表示和Softmax网络信息的联合预测其表达式如下：

其中：表示测量无标签数据与第i类的不相似性，联合两种不同的信息：来自Softmax分类器的信息，其鼓励不同类别特征间的分离性和来自字典学习的信息其鼓励来自同一类的特征可以很好地相互表示；超参数η∈(0,1]用于平衡来自Softmax分类器的信息和来自字典学习的信息对于无标签训练数据，当概率p_r,i值大时，表示该无标签数据的代价需要被重视，其提升无标签数据的预测性能；

所述联合类别估计p的熵正则项H(p_r)，其表达式如下：

为了能挑选高可信的无标签数据的类别估计，以正确地训练网络，提出如下正则：

熵H(p_r)的值越大，则联合类别估计p_r越不确定；若H(p_r)大于预设阈值λ，则p_r会被设为0，则监督信号p_r将被阻挡；若H(p_r)小于等于预设阈值，则其监督信号p_r将被传播到网络，通过反向传播提升网络性能。