[发明专利]一种基于GAN扩增图像前景物体的高容量数据保护方法有效

专利信息
申请号: 202010257335.7 申请日: 2020-04-03
公开(公告)号: CN111768326B 公开(公告)日: 2023-08-25
发明(设计)人: 孟若涵;崔琦;袁程胜;周志立;付章杰;孙星明 申请(专利权)人: 南京信息工程大学
主分类号: G06T1/00 分类号: G06T1/00;G06T3/00;G06N3/0464;G06N3/047;G06N3/084;G06N3/045;G06N3/0475;G06N3/094
代理公司: 南京苏高专利商标事务所(普通合伙) 32204 代理人: 柏尚春
地址: 210044 江苏*** 国省代码: 江苏;32
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 gan 扩增 图像 前景 物体 容量 数据 保护 方法
【权利要求书】:

1.一种基于GAN扩增图像前景物体的高容量数据保护方法,其特征在于,通过应用多种GAN于信息隐藏,得到嵌入失真概率图,并根据嵌入失真概率图计算不适合隐写区域,在不适合隐写区域中通过固定区域物体生成及信息嵌入模块生成前景物体,在生成图像中隐藏秘密信息,主要步骤如下:

S1:将原始图像输入隐写概率图生成模块;

所述隐写概率图生成模块,用于定义和选取图像中的不适合隐写区域,通过如下方法实现:

首先,将尺寸为H×W的原始图像x0输入到生成器中,生成器由U-Net结构构成,通过生成器,将原始图像转换为一张隐写概率图,隐藏能力capacity由隐写概率图计算得到,capacity计算方式如下所示;

公式(3)中,Pi,j为每个像素点的隐写概率,和分别表示对每个像素点进行+1/-1/0操作后的概率值;

其次,将隐写概率图及一组随机数ni,j通过嵌入模拟器,得到像素修改图m′i,j,

公式(4)中,ni,j∈[0,1];

通过Tanh函数模拟m′i,j,使m′i,j符合嵌入模拟器的需求;

mi,j=-0.5×tanh(λ(Pi,j-2×ni,j))+0.5×tanh(λ(Pi,j-2×(1-ni,j)))(5)

公式(5)中,λ是换算系数,mi,j为模拟m′i,j后的结果;

通过修改图m′i,j得到含密图像,将含密图像输入到隐写分析判别器中,并将原始图像输入到隐写分析判别器中,通过判别器对含密图像和原始图像分类,计算结果反向传播,不断对抗生成器;使得最终生成的隐写概率图Pi,j达到最准确的状态;其中判别器使用的是Xu-Net结构,损失函数为:

公式(7)中,y1和y2是判别器的Softmax输出,y′1和y′2是对应的真实数据ground truth;

生成器的损失函数包括两个损失,分别是对抗损失和熵损失即

公式(9)中,Q是嵌入负载率,H和W分别表示图像的长和宽,capacity为图像的隐藏能力如公式(3);

所述步骤S1将原始图像输入隐写概率图生成模块具体方法为,将一个批次的随机采样原始图像输入到隐写概率图生成器GP中,输出原始图像的隐写概率图其中,隐写概率图生成器GP的结构为U-Net结构,整体由5层卷积层和5层反卷积层构成,每层卷积或反卷积之后接有正则化层BatchNorm和激活层Relu;

S2:计算隐写概率图;

所述步骤S2计算隐写概率图方法为,通过模拟嵌入函数,模拟秘密消息的嵌入,具体为将隐写概率图和一组随机数作为输入,输入给用作模拟嵌入的tanh函数,输出像素修改图

式中λ设置为100;将原始图像与像素修改图相加得到含密图像x′k;并将原始图像和含密图像x′k输入到隐写分析判别器DS中,分别输出yi和y′i;计算损失函数进一步包括以下步骤:

S21:计算隐写概率图生成器GP的损失函数,其中,+1/-1/0的嵌入概率分别为隐写能力得到隐写概率图生成器GP的损失函数为式中嵌入负载率Q设置为0.4;

S22:根据(2-1)计算所得的和以Adam为随机梯度下降算法分别计算隐写分析判别器DS和概率图生成器GP的梯度,从而更新参数,完成一次迭代;整个过程设置迭代次数为10,000;得到概率图生成模型

S3:计算不适合隐写区域;

所述不适合隐写区域,由不适合隐写区域确定模块进行确定;

所述不适合隐写区域确定模块,用于根据每个像素点的隐写失真概率选定不适合隐写的像素点,并通过矩形选择算法对不适合隐写的像素点进行矩形框选;当不适合隐写的像素点分布过为离散、不集中,或图像中不适合隐写的像素点较少,导致无法框选出有效矩形框,则不扩增此类图像的前景物体,直接用于后续信息隐藏;当不适合隐写的像素点出现局部或全局集中的情况,则通过矩形选择算法进行矩形框确定,得到区域选定图,对区域选定部分依次在数据集中随机选择其相对合适的实例掩膜instance mask,并对instance mask进行尺度、位置变换得到instancemask_,使instance mask符合图像的框选框位置及大小;依次将变换过的instance mask_输入到固定区域物体生成模块,依次在不同的不适合隐藏区域生成前景物体,具体方法如下,

首先,不适合隐写区域确定模块根据隐写概率图生成模块得到的概率图,确定不适合隐写的像素点,采用自定义的激活函数:

公式(10)中,χ为自定义数值,Pi,j为隐写概率图模块生成的原图像每个像素点的隐写失真概率;

其次,在激活不适合隐写像素点后,使用矩形选择算法对不适合隐写区域进行矩形框框选,选用类似卷积操作构造矩形选择算法,将激活后的不适合隐写像素点激活图按照图像尺寸分割成H×W的格状,令不适合隐写的像素点对应的格状标亮,得到激活点阵,并通过尺寸依次增大的卷积核对其卷积,卷积核中每个单元数值均永恒设为1,若卷积部分中的标亮总元素li,j与卷积内总元素ci,j的比值大于一定的阈值,则选择其作为一个候选矩形框,最终确定不同区域的最大面积矩形框;若更大的卷积核确定的候选矩形框与之前的矩形框有重合部分,则选择较大的矩形框作为区域选定部分;

最后,通过在数据集中随机选择instance mask,并通过仿射变换对其进行尺度和位置变换得到instance mask_;

所述步骤S3计算不适合隐写区域具体方法为,不适合隐写区域确定模块根据隐写概率图生成模块输出的隐写概率图通过激活函数确定出适合或不适合的图像像素点式中χ设置为0.9;上适合隐写的图像单元标暗值设为0,不适合的图像单元li,j标亮值设为1,选取卷积面积为ci,j的卷积核,大小依次为5×5,12×12,对扫描,根据卷积核内的标亮点所占比例,将区域候选部分保存;将最大标亮区域即区域选定部分输出,随机选取instancemask,进行仿射变换置入得到instancemask_;

S4:向原始图像中增加纹理物体;

所述向原始图像中增加纹理物体通过固定区域物体生成及信息嵌入模块实现,所述固定区域物体生成及信息嵌入模块主要通过GAN实现,通过不适合隐写区域确定模块,得到通过仿射变换后的instancemask_,进而得到前景语义分布图M,M={M1,...,MT},式中T是需要生成的前景物体数量,Mt∈{0,1}H,W,N是一个二值化张量,式中N表示数据集中的物体种类数量,用于定义每一个需生成物体的位置、大小、形状和类别,H和W分别表示图像的长和宽;物体生成器GO共有两个输入,分别是语义分布图M和原始图像xo;将语义分布图映射到原始图像上,在语义分布图的instance mask_部分生成对应的前景物体;判别器Dobj用于监督instance mask_部分的物体生成、使instance mask_部分生成的前景物体真实,定义两个额外变量,分别是:聚合语义图Msyn=maxt∈{1...T}Mt∈{0,1}H×W×N、前景物体覆盖图:其中,Mt(ijn)表示前景物体的每个像素点的二值化张量,该公式表示若前景物体对应的像素点与生成物体部分的像素点相重合,则值为1,否则为0;

若一张原始图像中,需要间隔生成多个物体,则采取依次生成物体的方法;每次根据一个instance mask_生成一个物体,得到的生成图像,作为下一个生成过程的输入,直至所有的instance mask_均生成结束;生成器依次生成图像

式(11)中,Z为随机噪声,表示没有前景物体的区域,是前一个根据mask生成的图像,Mt为二值化张量,⊙代表矩阵的点乘法运算;

判别器Dobj主要包含所有生成物体的损失函数Lobjs、局部物体生成损失函数Lobj和特征匹配损失函数Lfm

式(12)、(13)中,I是全可微双线性插值,用于使物体边框与原始空间大小保持一致,x为真实图像,xo为原始图像,GO为物体生成器,Dobj为判别器;为前景物体覆盖图,Msyn为语义聚合图,z为随机噪声;

总损失函数L为:

L=Lobjs+αLobj+βLfm                            (14)

式(14)中,α和β为调节的参数;

所述步骤S4向原始图像中增加纹理物体具体方法为,通过不适合隐写区域确定模块输出的结果,得到通过仿射变换后的instancemask,进而得到语义分布图M={M1,...,MT},以及一个二值化张量Mt∈{0,1}H×W×N,将原始图像和语义分布图Mk输入到物体生成器GO中,输出生成图像,即包括如下步骤,

S41:判别器Dobj从真实数据集随机采样图像掩膜对(x,M),并从物体生成器GO生成得到的图像掩膜对分别作为输入,得到Dobj(x,M)和计算判别器Dobj的损失如下

计算特征匹配损失Lfm,判别器Dobj的总损失为L=Lobjs+αLobj+βLfm,式中设α=0.1,β=1;

S42:通过Adam优化函数计算梯度,为判别器Dobj更新参数,与生成器共享梯度,使生成器完成更新参数,完成一次固定区域物体生成模块的训练过程;

根据原始图像物体掩膜每次完成一次前景物体的生成,即从而完成前景物体的依次生成,进一步完成了向原始图像中增加纹理物体的操作;

S5:进行信息隐藏算法嵌入秘密信息;

所述进行信息隐藏算法嵌入秘密信息具体为,在生成载体图像上进行信息隐藏算法嵌入秘密信息,实现高容量的数据保护。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京信息工程大学,未经南京信息工程大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010257335.7/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top