[发明专利]基于注意力机制的人体姿态迁移方法在审
申请号: | 201911332748.0 | 申请日: | 2019-12-22 |
公开(公告)号: | CN111161200A | 公开(公告)日: | 2020-05-15 |
发明(设计)人: | 李坤;张劲松;杨敬钰;赵宇阳;刘烨斌;戴琼海 | 申请(专利权)人: | 天津大学 |
主分类号: | G06T5/50 | 分类号: | G06T5/50;G06N3/08;G06N3/04 |
代理公司: | 天津市北洋有限责任专利代理事务所 12201 | 代理人: | 刘国威 |
地址: | 300072*** | 国省代码: | 天津;12 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 注意力 机制 人体 姿态 迁移 方法 | ||
本发明属于图像合成领域,为实现姿态引导的图像合成,同时增强生成图像的清晰度以及图像与目标姿态的符合程度。本发明采取的技术方案是,基于注意力机制的人体姿态迁移方法,步骤如下:图像预处理步骤:形成训练数据;姿态指导下的注意力编码;网络搭建与训练:采用生成对抗网络模型,网络模型分为生成器及判别器;将生成图像放入判别器,判别器通过区分真实图像与生成图像来迫使生成器生成更加接近真实的图片;最终利用训练完毕的生成对抗网络完成人体姿态迁移。本发明主要应用于图像处理场合。
技术领域
本发明属于图像合成领域,尤其是基于注意力机制,针对人体姿态迁移的图像合成技术。具体涉及基于注意力机制的人体姿态迁移方法。
背景技术
人体姿态迁移是生成做出指定姿势的特定人物的图像,该任务可以用于生成行人重识别等任务的数据集,从而将这些任务通过数据驱动的形式进行解决。鉴于其重要性,越来越多的研究者开始关注人体姿态迁移任务。区别于图像合成任务,人体姿态迁移是一种条件式的图像合成任务。通过给定包含人物的图像以及固定的姿态,该任务希望生成该人物做出指定姿态的图像。
现有的人体姿态迁移方法大多采用编解码器结构,在输入图像和目标二维姿态的指导下,利用人体关节的某些关节点进行编码,学习从输入图像到目标二维姿态的转换。主流的人体姿态迁移技术主要包含两种:条件变分自编码器和条件生成对抗网络。条件变分自编码器能够很好地表示出姿态间的变换关系,但这类方法产生的图片往往不够清晰。条件生成对抗网络能够产生较为清晰的图片,但是由于姿态变换导致的像素不对齐问题不能得到很好的解决,导致对较复杂姿态的图像表现较差。
发明内容
为克服现有技术的不足,本发明旨在:
1)针对以往方法难以处理的在姿态迁移时导致的像素不对齐的问题,本发明利用注意力机制对图像生成器的内部进行改造,实现姿态引导的图像合成。
2)为了充分利用图像信息并生成清晰的图片,本发明采用生成对抗网络的架构,同时增强生成图像的清晰度以及图像与目标姿态的符合程度。
本发明采取的技术方案是,基于注意力机制的人体姿态迁移方法,步骤如下:
图像预处理步骤:形成训练数据;
姿态指导下的注意力编码:对于图像特征CI以及姿态特征CP,利用自注意力机制,使姿态特征对图像特征进行变换的指导,得到姿态指导下的注意力编码;
网络搭建与训练:采用生成对抗网络模型,网络模型分为生成器及判别器,生成器部分首先进行下采样卷积模块,将图片编码成为高维的图像特征,再进行姿态指导下的注意力编码,通过多次编码完成对图像特征的转换,最后通过上采样卷积模块将图像特征转换为图片;将生成图像放入判别器,判别器通过区分真实图像与生成图像来迫使生成器生成更加接近真实的图片;最终利用训练完毕的生成对抗网络完成人体姿态迁移。
图像预处理具体步骤是:首先使用训练好的关节点检测器HPE提取人物姿态,再将固定人物及对应姿态分为一组,对每组中的图片进行排列组合形成训练数据,对于基准数据集Market-1501,收集263632组训练数据以及12000组测试数据;对于DeepFashion数据集,收集101966组训练数据以及8570组测试数据。
姿态指导下的注意力编码具体步骤如下:首先通过1×1的卷积将姿态特征分别映射成Key和Value,其中Key和Value都代表姿态特征的信息并且一一对应;之后将Key转置后与Value相乘得到注意力图;最后将图像特征与注意力图想成,得到姿态指导下的注意力编码;
得到注意力编码之后,为了更好的整合图像特征和姿态特征,将两者进行拼接,在得到图像特征的反馈之后,姿态特征可以更进一步指导图像特征进行之后的变换。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于天津大学,未经天津大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911332748.0/2.html,转载请声明来源钻瓜专利网。