[发明专利]一种基于深度学习的自然图像抠图方法有效
申请号: | 201911274458.5 | 申请日: | 2019-12-12 |
公开(公告)号: | CN111161277B | 公开(公告)日: | 2023-04-18 |
发明(设计)人: | 赖剑煌;邓卓爽 | 申请(专利权)人: | 中山大学 |
主分类号: | G06T7/11 | 分类号: | G06T7/11;G06T7/194;G06N3/04;G06N3/08 |
代理公司: | 广州市华学知识产权代理有限公司 44245 | 代理人: | 刘巧霞 |
地址: | 510275 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 深度 学习 自然 图像 方法 | ||
本发明公开了一种基于深度学习的自然图像抠图方法,其包括以下步骤:获取抠图数据集,并进行数据增强;搭建具有编码器‑解码器结构的自然图像抠图模型,为保留细节信息,设计编码器使其下采样倍数为4,为弥补下采样倍数下降带来的感受野变小,引入空洞卷积扩大感受野,保存最大池化操作中最大像素位置,以便为上采样阶段提供位置信息;为解决多尺度问题,在编码器顶部连接一个空洞空间金字塔模块;在解码器中设计全局语境模块,用于融合所述编码器与解码器对应的高层特征;最后训练并测试。本发明在提取特征过程中保留更多细节信息,同时关联多尺度特征,使模型能捕抓到全局信息,有利于模型处理细节以及大面积透明物体,提升抠图质量。
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于深度学习的自然图像抠图方法。
背景技术
抠图技术是在数字图像上进行的一种图像处理技术,它最初由影视行业发展而来,现已成为视觉特效制作中至关重要的技术。利用抠图技术,电影、广告、海报等领域制作人可以把一个需要的人物或物体无缝地嵌入到一个指定的场景中。但这类特效的制作大多使用蓝屏抠图技术,该技术需要把拟嵌入的人物或物体放置到一个纯色背景中拍摄,极大限制了抠图技术的应用。随着计算机技术的发展,用户对能从一幅自然图像中抠出感兴趣的物体的需求越来越强烈,同时也提出了更高的质量要求。
普通的图像分割技术是把图像中的每个像素都明确归为某一类,其任务是实现对每个像素的分类,这类任务往往只是得到一张粗糙的分割掩膜。但抠图技术则提出了更高的要求,它更加关注诸如毛发等边缘细节,同时需要估计过渡边缘与半透明物体的透明度,它的任务是对每个像素回归一个前景的透明度,得到一张精细的alpha蒙版,其核心问题可以归结为求解以下公式:
Ii=αi*Fi+(1-αi)*Bi
式中,i表示某一个像素,Ii表示像素颜色,αi表示透明度,Fi表示前景,Bi表示背景。在alpha蒙版中,α=0表示背景像素,α=1表示前景像素,对于不确定是前景还是背景的像素,α是介于0到1之间的浮点数,α越小表示透明度越大。显然,公式中的已知量只有Ii,另外三个均为未知量,这是一个严重的病态问题。因此,在抠图时需要一定的用户交互以提供限制条件,如输入三元图,初步确定明确的前背景区域和未确定区域。
传统的自然图像抠图方法主要包括基于采样、基于传播以及两者相结合的抠图方法。随着近年来深度学习的迅猛发展,基于深度学习的抠图方法得到研究人员的广泛关注,并提出了一系列精度更高、泛化能力更强的模型。2016年,Cho等人结合传统的Closed FormMatting和KNN Matting,首次使用深度学习方法训练获得高精度的抠图模型。2017年,Xu等人在语义分割模型SegNet的基础上训练得到一个精度更高、泛化能力更强的抠图模型,同时发布了一个高质量的抠图数据集,这对以数据为驱动的深度学习方法在自然图像抠图上的研究有着极大的促进作用。
然而,现有基于深度学习的抠图方法仍然存在一些问题,比如毛发等细节的丢失,大面积透明前景存在缺块,当前背景颜色相似时精度大大下降等。对于细节的丢失问题,由于深度学习的特征提取器下采样倍数一般为32倍,而诸如毛发等细节则只有几个像素大小,在下采样过程中它们的位置信息将大量丢失。但如果简单地降低下采样倍数,又会面临感受野过小,特征提取器仅能学习到小范围内的局部特征,不利于高层语义信息的获取,同样造成精度下降,这是保留位置信息与提取高层语义信息之间的矛盾。对于缺块、难样本预测精度不高等问题,抠图的目标一般比较大,这些大目标可以看成是由不同大小的组块构成的,若仅使用核大小一致的卷积操作,在相同感受野情况下,容易造成大组块因组块内部细节不同而被提取出不同的特征,缺乏更高层的整体特征,而相邻的几个小组块则可能会被识别为一个整体,因此抠图任务中同样需要解决物体的多尺度问题;另外,为了解决大面积透明前景的缺块问题以及难样本问题,自然图像抠图模型也需要引进扩大上下文信息范围的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中山大学,未经中山大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911274458.5/2.html,转载请声明来源钻瓜专利网。