[发明专利]基于关系三元组的人-物交互图像生成方法

权利要求书

1.一种基于关系三元组的人-物交互图像生成方法，其特征在于，包括：

根据给定动词修改原始图像中的人物姿态，得到人物图像；

根据预先获得的人-物交互信息，将所述人物图像与预先获得的物体图像进行融合，得到人-物交互图像，包括：

分别从所述人物图像和所述物体图像中提取各自的视觉特征，得到两组特征图；

构建双流网络结构，并使用对抗学习方式处理人物图像和物体图像；两个轻量级特征提取器会从视觉特征和f_o中分别提取特征；两个RSTN网络分别应用于网络的两个输入流上；表示人物图像分支上的第一个RSTN，T_o,p(·)表示物体图像分支上的第二个RSTN；对两组特征图分别处理，并得到两个特征图和T_o,p(f_o)；

使用RSTN网络对两组特征图进行处理，将所述物体图像的特征图中含有语义信息的区域线性映射到所述人物图像的特征图中对应区域上；

将所述物体图像的特征图与所述人物图像的特征图沿通道方向进行拼接，并将拼接后的图像输入编码器-译码器中进行训练，得到人-物交互图像；

所述人-物交互图像的表达式为：

式中，表示人-物交互图像，表示编码器-译码器，表示人物图像的特征图，T_o,p(f_o)表示物体图像的特征图；

RSTN模块的主要目标是高效生成图像的合理布局，解决图像间的不对齐问题，使用RSTN网络对两组特征图进行处理包括：

将物体类别嵌入映射到隐空间，得到n维隐编码e，并将给定动词嵌入映射到n维向量η_t；

通过条件增强模块计算n维向量c，得到隐编码[e,c]；

根据所述隐编码[e,c]预测物体检测框在图像中的位置，并对位置坐标进行线性变换；

对位置坐标进行线性变换，所应用的公式为：

A_θ＝F_θ(F_bbox([e，c]))，

式中，A_θ表示线性变换矩阵，F_bbox(·)和F_θ(·)为两个映射函数，F_bbox(·)的功能是预测物体检测框在图像中的位置，F_θ(·)的功能是根据物体检测框的位置计算线性变换矩阵，[e,c]为隐编码，即用于预测RSTN线性变换矩阵的特征。

2.根据权利要求1所述的一种基于关系三元组的人-物交互图像生成方法，其特征在于，根据给定动词修改原始图像中的人物姿态，得到人物图像的过程，具体包括：

从原始图像中提取人物外貌信息；

根据给定动词，在预先构建的姿态模板库中选择一个目标姿态；

将所述目标姿态与所述人物外貌信息融合，合成人物图像。

3.根据权利要求2所述的一种基于关系三元组的人-物交互图像生成方法，其特征在于，从原始图像中提取人物外貌信息的过程具体包括：

对原始图像中人的身体关键点进行检测；

根据所述身体关键点获取人物姿态。

4.根据权利要求2所述的一种基于关系三元组的人-物交互图像生成方法，其特征在于，根据给定动词在预先构建的姿态模板库中选择一个目标姿态的过程，具体包括：

在预先构建的姿态模板库中选择一簇与给定动词一致的姿态；

在选出的一簇姿态中随机选择一个姿态作为目标姿态。

5.根据权利要求2所述的一种基于关系三元组的人-物交互图像生成方法，其特征在于，将所述目标姿态与所述人物外貌信息融合，合成人物图像的过程，具体包括：

将所述目标姿态与所述人物外貌信息中的人物姿态分别进行编码，得到编码结果；

将所述编码结果以及所述原始图像一并输入动词引导的人物图像生成器进行训练，生成人物图像。

6.根据权利要求1所述的一种基于关系三元组的人-物交互图像生成方法，还包括：判断所述人-物交互图像与期望的人-物交互关系是否一致，并优化所述人-物交互图像。