[发明专利]一种基于域自适应的帧间图像语义分割方法与系统

权利要求书

1.一种基于域自适应的帧间图像语义分割方法，其特征在于，以真实世界的城市景观数据集作为目标图像，以带有语义标签的城市景观数据集作为训练图像，包括步骤：

S1：获取预设数量的目标图像和训练图像；

S2：通过图像层级的域自适应处理训练图像，获得视觉风格优化后的增强图像；

S3：获取增强图像经过目标渲染处理后，带有相应语义标签的目标渲染图像；

S4：通过最小熵损失函数进行目标渲染图像与目标图像之间基于对抗学习的域间自适应训练；

S5：基于目标图像的熵图平均值提取目标图像中预设域间隙范围内的图像作为有监督数据，并提取目标图像中预设域间隙范围外的图像作为无监督数据；

S6：通过域间自适应训练后的模型结合有监督数据，与无监督数据进行基于熵的对抗学习，获取域内自适应后的语义分割模型；

所述S5步骤中，熵图平均值表示为如下公式：

式中，R(|X_t|)为熵图平均值，H、W分别表示目标图像的长度和宽度，h为上限为H的常数，w为上限为W的常数，为目标图像在（h，w）处的熵值；

所述预设域间隙范围由如下公式确认：

式中，λ为预设域间隙范围，|X_t|为当前帧图像的熵图平均值，|X_te|为目标图像通过YOLO模型检测所获得易分割图像的熵图平均值。

2.如权利要求1所述的一种基于域自适应的帧间图像语义分割方法，其特征在于，所述带有语义标签的城市景观数据集来自于城市景观写实应用的图像数据库。

3.如权利要求1所述的一种基于域自适应的帧间图像语义分割方法，其特征在于，所述S2步骤中，图像层级的域自适应通过对图像参数进行调整，使训练图像优化为真实世界的视觉风格。

4.如权利要求1所述的一种基于域自适应的帧间图像语义分割方法，其特征在于，所述S4步骤中，域间自适应训练是将基于熵的无监督域自适应应用于输出空间，通过对抗式最小化与域自适应强相关的熵进行的语义分割，其表示为如下公式：

式中，L_seg为有监督分割损失，L_ent为无监督熵损失，（x_s，y_s）为目标渲染图像，x_t为目标图像。

5.一种基于域自适应的帧间图像语义分割系统，其特征在于，以真实世界的城市景观数据集作为目标图像，以带有语义标签的城市景观数据集作为训练图像，包括：

数据获取单元，用于获取预设数量的目标图像和训练图像；

视觉优化单元，用于通过图像层级的域自适应处理训练图像，获得视觉风格优化后的增强图像；

图像渲染单元，用于渲染增强图像中的目标，并获得带有相应语义标签的目标渲染图像；

域间优化单元，用于通过最小熵损失函数进行目标渲染图像与目标图像之间基于对抗学习的域间自适应训练；

数据分化单元，用于根据目标图像的熵图平均值提取目标图像中预设域间隙范围内的图像作为有监督数据，并提取目标图像中预设域间隙范围外的图像作为无监督数据；

域内优化单元，通过域间自适应训练后的模型结合有监督数据，与无监督数据进行基于熵的对抗学习，获取域内自适应后的语义分割模型；

所述数据分化单元中，熵图平均值表示为如下公式：

式中，R(|X_t|)为熵图平均值，H、W分别表示目标图像的长度和宽度，h为上限为H的常数，w为上限为W的常数，为目标图像在（h，w）处的熵值；

所述预设域间隙范围由如下公式确认：

式中，λ为预设域间隙范围，|X_t|为当前帧图像的熵图平均值，|X_te|为目标图像通过YOLO模型检测所获得易分割图像的熵图平均值。

6.如权利要求5所述的一种基于域自适应的帧间图像语义分割系统，其特征在于，所述带有语义标签的城市景观数据集来自于城市景观写实应用的图像数据库。