[发明专利]一种加入SE块的场景图生成图像方法

权利要求书

1.一种加入SE块的场景图生成图像方法,其特征在于包括以下步骤：

步骤1、数据集预处理

1-1.对数据集进行预处理，筛选出至少出现2000次的对象和500次的关系，最后留下178个对象和45个关系；对于数据集中图像，筛选出包含3-30个对象和至少一个关系的图片，最后留下包含62565张图片的训练集，包含5506张图片的验证集和包含5088张图片的测试集；

1-2.将筛选后所有的图像裁剪为256×256像素的3通道RGB图像，并生成对应的对象列表，命名为objs；生成包围框列表，命名为boxes；生成场景图三元组(对象、关系、对象)列表，命名为triples；

步骤2、加入SE块的Sg2im模型

Sg2im模型的级联细化网络部分基本由卷积操作构成，因此在Sg2im模型的级联块的结尾添加SE块；

步骤3、选择原始Sg2im和加入SE块的Sg2im进行对比，以Visual Genome作为对比的基准数据集，将两种模型分别在同一数据集上迭代1000000次，比较生成图像的质量，并分别计算其IS和FID指标进行定量比较。

2.根据权利要求1所述的一种加入SE块的场景图生成图像方法,其特征在于步骤2具体实现如下：

在Sg2im模型的级联细化网络部分，输入初始化为0的1*4*4大小的初始特征，经过上采样后变成1*8*8的特征F，然后和输入的语义布局L一起进入第一个级联细化模块M⁰，M⁰的分辨率为8*8；在模块M⁰内部，语义布局L首先经过平均池化操作下采样到8*8大小，然后和特征F联合起来，再对整体进行两层常规的卷积操作来融合信息，最后输出第一个特征层F⁰，此时F⁰尺寸为1024*8*8，1024为设置的通道数；整个级联细化网络的剩余级联细化块都是重复这个过程，即1024*8*8的F⁰上采样到16*16大小，和L一起进入分辨率为16*16的M⁰，经过卷积操作后输出512*16*16的F¹，这样一步一步将分辨率变大到所需的尺寸，具体是128*128，同时通道数减少到64；即经过5个细化模块后，1*4*4值为0的特征变成64*128*128的特征F⁴，最后将F⁴经过3*3卷积和1*1卷积转换成3*128*128的图片，即为整个级联细化网络的输出，也是整个Sg2im模型的输出图；

所述的卷积操作主要在级联模块内，以及级联细化网络最后的3*3卷积和1*1卷积；因为SE块需要先对通道进行压缩再激励，而经过最后的3*3卷积后，特征维度已变为3，无法再压缩，所以这后面不能再加SE块；每个级联模块包含两个卷积操作以及相应的BatchNorm和LeakRelu；第二个卷积块后面，也就是每个级联模块的输出前面添加SE块，用以对特征进行优化，加强有用信息并压缩无用信息。