[发明专利]基于位姿自监督对抗生成网络的弱配对图像风格迁移方法

权利要求书

1.一种基于位姿自监督对抗生成网络的弱配对图像风格迁移方法，其特征在于，步骤如下：

S1、获取由图像样本对构成的原始数据集，每一组图像样本对中包含同时存在位姿差异和风格差异的第一源图像O₁和第一目标图像T₁；

S2、针对原始数据集中的每一组图像样本对，将第一源图像O₁和第一目标图像T₁各自经过3自由度变换P_r，分别生成第二源图像O₂和第二目标图像T₂，形成由四张图像组成的一组样本组合；所述3自由度变换P_r中包含随机生成的横竖平移以及旋转三种位姿变换，且同一组图像样本对中的第一源图像O₁和第一目标图像T₁所采用的3自由度变换P_R保持相同；

S3、将原始数据集中的所述样本组合作为训练样本输入对抗生成网络中，由对抗生成网络分别对第一源图像O₁和第二源图像O₂进行风格变换生成第三目标图像FakeT₁和第四目标图像FakeT₂，通过最小化输入训练样本的总损失函数训练对抗生成网络，得到弱配对图像风格迁移网络；

所述总损失函数中，单个训练样本的损失函数L由三部分组成：

L＝L_D+L_S+L_M

其中第一部分损失L_D＝(T₁-FakeT₁)+(T₂-FakeT₂)，第二部分损失L_S＝P₃-P₄，第三部分损失L_M＝P_r-P_e；

式中：P₃为第三目标图像FakeT₁与第一目标图像T₁之间的相对位姿，P₄为第四目标图像FakeT₂与第二目标图像T₂之间的相对位姿，P_e为第三目标图像FakeT₁与第四目标图像FakeT₂之间的相对位姿；

S4、将待风格化图像输入所述弱配对图像风格迁移网络中，得到位姿不变但风格化后的图像。

2.如权利要求1所述的基于位姿自监督对抗生成网络的弱配对图像风格迁移方法，其特征在于，所述原始数据集中的图像均为机器人运行路径上的鸟瞰图。

3.如权利要求2所述的基于位姿自监督对抗生成网络的弱配对图像风格迁移方法，其特征在于，所述原始数据集的构建方法如下：

在第一图像采集环境下，在机器人运行路径上的随机地点A采集第一鸟瞰图；然后在与第一图像采集环境不同的第二图像采集环境下，对随机地点A施加随机平移得到随机地点B，通过对采集视角随机施加水平旋转后再次对随机地点B采集第二鸟瞰图，然后将采集的第一鸟瞰图和第二鸟瞰图分别作为第一源图像O₁和第一目标图像T₁，从而构成一组图像样本对；不断重复，将得到的一系列图像样本对构建为原始数据集。

4.如权利要求3所述的基于位姿自监督对抗生成网络的弱配对图像风格迁移方法，其特征在于，所述第一图像采集环境和第二图像采集环境之间的差别为天气不同或采集图像所用传感器不同。

5.如权利要求3所述的基于位姿自监督对抗生成网络的弱配对图像风格迁移方法，其特征在于，所述原始数据集通过在仿真环境中获取鸟瞰图构建。

6.如权利要求1所述的基于位姿自监督对抗生成网络的弱配对图像风格迁移方法，其特征在于，任意两个图像之间的所述相对位姿由可微分的位姿求解器进行求解。