[发明专利]基于DA-RBM分类器模型的手写数据识别方法

权利要求书

1.一种基于DA-RBM分类器模型的手写数据识别方法，其特征在于，所述方法包括如下步骤：

S110、获取源域数据X^s、与源域数据X^s对应的标签Y^s、目标域数据X^T以及标签Y^T；所述源域数X^s据为MNIST数据集，所述目标域数据X^T为USPS数据集；

S120、初始化RBM模型参数，将数据X^s、X^T输入到RBM网络中，求出一阶特征；

S130、将所述一阶特征作为下一阶网络的输入，进行RBM训练；

S140、将RBM的隐层输出H_s、H_T输入到softmax回归层进行分类；

S150、在RBM隐层输出上使用MMD进行源域数据和目标域数据分布的约束；

S160、在RBM模型的顶层分类层中使用MMD进行预测结果的约束；

S170、构建模型的总代价函数J(θ)，通过优化所述总代价函数来优化分类器模型的参数；

S180、将手写数据导入参数优化后的DA-RMB分类器模型进行手写字的分类识别；

其中，所述步骤S130中，采用Gibbs采样和对比散度算法进行RBM训练；所述步骤S130还包括，对于源域数据和目标域数据设置隐层单元数为m，学习率为最大训练周期为T，RBM网络的参数设置分别为连接权重设置为W，将层偏置设置为b，隐层偏置设置为c；初始化RBM网络，然后对于源域数据所有的隐层节点计算其激活概率，激活概率Ρ(h_s＝1|v_s)其计算公式如下:

Ρ(h_sj＝1|v_s)＝σ(c+∑_iv_1iw_ij)

根据隐层节点的条件概率使用Gibbs采样，求得隐层节点的输出通过如下形式求解:

h_s～Ρ(h_s|v)

对于目标域数据所有的隐层节点计算其激活概率Ρ(h_T＝1|v_T)，计算公式如下：

Ρ(h_Tj＝1|v_T)＝σ(c+∑_iv_1iw_ij)

根据隐层节点的条件概率使用Gibbs采样，求的目标域隐层节点的输出通过如下方式求解：h_T～Ρ(h_T|v)；

所述步骤S140包括：softmax回归层中分类求解计算公式如下:

对于源域数据采用如下公式:

对于目标域采用如下公式:

所述DA-RBM模型中最后一层为分类层，输出的是属于每个类的概率，所述DA-RBM分类器在特征提取层和分类器的输出衡量源域和目标域基于MMD的分布损失；在特征分布上，通过目标函数中的feature MMD来衡量两个域上的特征分布区别：

其中H代表RBM的隐层的输出；

在分类器的层面加入MMD损失，定义MMD损失为conditional MMD，MMD损失的计算公式如下：

其中C为标签的类别数，q对应某一类的所有输出构成的向量；

所述总代价函数J(θ)的公式如下：

其中L(θ)为分类器的损失函数。