[发明专利]一种基于深度学习的人脸图像去遮挡方法有效
申请号: | 201710120037.1 | 申请日: | 2017-03-02 |
公开(公告)号: | CN106910176B | 公开(公告)日: | 2019-09-13 |
发明(设计)人: | 张梦茹;阚美娜;张杰;山世光 | 申请(专利权)人: | 中科视拓(北京)科技有限公司 |
主分类号: | G06T5/00 | 分类号: | G06T5/00 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100086 北京市海淀区科*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 深度 学习 图像 遮挡 方法 | ||
1.一种基于深度学习的人脸图像去遮挡方法,其特征在于,包括以下步骤:
(1)自动对原始图片添加特定样式与分布的遮挡,模拟真实遮挡分布,制作训练数据集并对输入数据进行预处理;
具体的预处理步骤包括但不限于将输入图像进行归一化、尺度缩放、数据增广;并且通过批处理操作将图片像素值进行归一化,便于后续计算与网络收敛;
(2)设计基于全卷积网络的神经子网络N1学习遮挡的分布与深浅;
其中,网络的前端部分较浅的神经网络的层通过对原始输入图片以级联卷积的方式计算得到的特征图,特征图分布反应了图像的基础信息,不同的卷积核提取出不同的特征图,并将边缘信息作为后续网络的输入;
(3)设计神经子网络N2对遮挡图像进行自动修复与平滑;
(3.1)深度神经网络N2采用与深度神经网络N1相同的前半部,实现参数共享,N2的核心思想是提取N1的末端的输入特征图,经过N1阶段的学习后,此时的特征图已比较接近遮挡分布,将该特征图和原始遮挡图片叠加,将叠加值作为初始修复状态;
(3.2)获取初始修复状态后,神经子网络N2的后半部采用不带下采样操作的卷积单元,包括但不局限于两层或者多层的卷积层,多个卷积核以滑动窗口的形式在步骤(3.1)得到的初始叠加值上计算新的特征图,输出以无遮挡的真值图像进行约束;
(3.3)然后采用欧式损失进行有监督约束,训练采用的算法是BackPropagation反向回传算法,通过回传的损失层误差来更新每一层的参数,使得网络参得到更新,最终得到收敛;
(4)迭代训练子网络N1,N2,进行多任务学习;
(4.1)首先完成遮挡的检测任务,任务的主要实施部分为网络结构N1,输入数据是有遮挡的原始图像,标签是已知的遮挡的分布图,目标是在N1结构的末端在测试阶段自动学习出遮挡的分布,使得神经网络N1收敛到良好状态;
(4.2)然后完成图像修复任务,任务的主要实施部分为网络结构N2,输入数据是有遮挡的原始图像,标签是未遮挡的真值图像,目标是在N2结构的末端在测试阶段自动学习出修复遮挡之后的图像,并通过图像级别像素值的回归,进一步减小学习率,促进网络收敛的步骤,使得网络自动检测出遮挡并输出修复后的与原图大小相同的图像。
2.根据权利要求1所述的基于深度学习的人脸图像去遮挡方法,其特征在于:所述步骤(2)中,在深度神经网络结构N1中,分为前后两个部分,前部分基于卷积神经网络结构单元,包括但不限于卷积操作,非线性映射,下采样池化;再选取小尺度的卷积核,将其分为五个卷积单元层,其中前两个卷积单元采用最大值池化方法进行下采样,快速降低特征图的大小,后三个卷积单元为串联的卷积层,并且卷积核数目加倍,可增强网络的学习能力;后部分基于反卷积神经网络结构单元,包括但不限于反卷积操作,非线性映射。
3.根据权利要求2所述的基于深度学习的人脸图像去遮挡方法,其特征在于:所述反卷积操作中,反卷积核的参数为网络优化学习而得,并且采用串联的小步长上采样代替大步长采样,对边缘的预测结果更为有效。
4.根据权利要求1所述的基于深度学习的人脸图像去遮挡方法,其特征在于:所述步骤(2)中,深度神经网络结构N1的末端输出采用非线性映射将最后一层的输出映射到[0,1]之间,采用欧式损失进行有监督约束,能够同时预测遮挡的位置和深浅;训练采用的算法是BackPropagation反向回传算法,通过回传的损失层误差来更新每一层的参数,使得网络参得到更新,最终得到收敛。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中科视拓(北京)科技有限公司,未经中科视拓(北京)科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710120037.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:干烧复位工作测试台
- 下一篇:一种用于晶圆测试的通讯检测装置
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序