[发明专利]一种众包任务下的鲁棒分类器训练方法在审
申请号: | 202110650604.0 | 申请日: | 2021-06-11 |
公开(公告)号: | CN113361611A | 公开(公告)日: | 2021-09-07 |
发明(设计)人: | 王崇骏;钱树伟;刘振东;罗宏涛;张雷 | 申请(专利权)人: | 南京大学 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/063;G06N3/08 |
代理公司: | 南京瑞弘专利商标事务所(普通合伙) 32249 | 代理人: | 任志艳 |
地址: | 210093 江苏*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 任务 分类 训练 方法 | ||
1.一种众包任务下的鲁棒分类器训练方法,其特征在于,包括如下步骤:
步骤1,自动编码器训练;
自动编码器包括编码器、解码器、以及用于连接编码器和解码器的隐层神经元,隐层神经元的值构成向量空间即为隐空间Z,对编码器和解码器进行训练,取自动编码器中的解码器为生成器G;
步骤2,将输入x经过自编码器训练得到的编码器,投影到隐空间Z上,变为z;
步骤3,基分类器训练;
根据输入x投影后的隐空间表示z,利用PGD方法寻找标准对抗样本和流形上对抗样本,再利用两种对抗样本的联合损失进行对抗训练,得到基分类器f;
步骤4,通过随机平滑法训练鲁棒分类器;
鲁棒分类器g通过蒙特卡洛方法对输入加上随机的高斯噪声,不断查询基分类器f,根据采样结果中最常出现的类别作为鲁棒分类器g的输出。
2.根据权利要求1所述一种众包任务下的鲁棒分类器训练方法,其特征在于,步骤1中自动编码器训练具体包括如下步骤:
步骤1.1,将输入x通过所述编码器变为向量z,z的维数远小于x的维数,z所在的向量空间为隐空间Z;
步骤1.2,向量z再通过解码器变为向量x’,x’与x为形状相同的向量;
步骤1.3,将训练数据集中的所有输入样例xi依次输入编码器和解码器,得到每个输入样例xi对应的重构样本xi′,取它们的重构误差之和∑idist(xi,xi′)作为优化目标,对编码器和解码器进行训练,其中dist表示两个向量间距离的一种度量,解码器称为生成器G。
3.根据权利要求1所述一种众包任务下的鲁棒分类器训练方法,其特征在于,步骤3中基分类器训练,具体步骤如下:
步骤3.1,产生标准对抗样本G(z)+δ
内循环由δ=0开始,迭代计算所得δ为标准对抗噪声,其中∏为投影算子,保证噪声取值的合法性,L为损失函数,f为基分类器,α为步长,sign为符号函数,G(z)为通过隐空间表示z对输入x的重构,y为样本标记;
步骤3.2,产生流形上对抗样本G(z+λ)
内循环由λ=0开始,迭代计算所得λ为流形上对抗噪声,其中∏为投影算子,保证噪声取值的合法性,L为损失函数,f为基分类器,α为步长,sign为符号函数,G(z+λ)为通过扰动后的隐空间表示对输入的重构,也成为流形上对抗样本,y为样本标记;
步骤3.3,获得标准对抗样本和流形上对抗样本后,对联合优化目标损失按照迭代公式利用批量梯度下降法(Batch Gradient Descent,BGD)算法进行随机梯度下降,学习基分类器参数θ其中∑是对批次内样本求和。
4.根据权利要求1所述一种众包任务下的鲁棒分类器训练方法,其特征在于,步骤4中通过随机平滑法训练鲁棒分类器,具体步骤如下:
步骤4.1,指定置信度大小a,高斯分布参数μ,σ;
步骤4.2,按照设定的高斯分布参数μ,σ随机产生多个高斯噪声ηi;
步骤4.3,对于输入x,和每个高斯噪声ηi查询基分类器f的输出f(x+ηi);
步骤4.4,按照频率估计出现类别的概率,选择最大的输出作为基分类器f的输出,若置信度小于设定值a,则拒绝给出分类;若置信度大于设定值a,则输出所得类别。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京大学,未经南京大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110650604.0/1.html,转载请声明来源钻瓜专利网。