[发明专利]一种迁移学习的非规则物料的图像语义分割方法

权利要求书

1.一种非规则物料的图像语义分割方法，其特征在于，包括：

步骤S1、构建训练数据集，包括两个子数据集，一个未标记非规则物料图像集合，另一个是经过标注的非规则物料图像集合；

步骤S2、构建像素级渲染模块并进行训练，训练时输入随机变量的矢量形式，输出语义分割准标注掩码以及图像；其中输入随机变量产生过程是，将规则物料图像语义空间的随机变量概率分布，通过深度网络转换为新的空间分布得到的，转换的标准是更符合生产场景中的非规则物料的图像语义分布；

步骤S3、构建非规则物料渲染图像判别器，以应用于生产场景中的非规则物料真实图像和非规则物料渲染的图像；构建非规则物料渲染图像-标签对判别器，以用来判别渲染的非规则物料图像-标签对和真实的生产场景非规则物料图像-标签对；

步骤S4、设置图像语义流形变换器，将生产场景中的非规则物料的图像映射到嵌入随机变量，得到嵌入增强空间，同时结合标记非规则物料图像，对应渲染非规则物料图像语义分割准标注掩码标签；在推断过程中，先计算新图像的嵌入，嵌入是指一种矢量表示；

步骤S5、给定非规则物料的目标图像，将目标图像嵌入到像素级渲染模块的嵌入增强空间中，图像语义流形变换器将目标图像映射到嵌入增强空间，通过计算得到增强空间矢量的反演估计值，推理获得最优像素级标签；

步骤S6、采用学习感知图像块相似度与非规则物料目标图像每像素马氏距离项联合作用，结合增强空间矢量的反演估计值，回传至像素级渲染模块，得到非规则物料的图像语义分割结果，即：目标图像，图像语义分割准标注掩码标签。

2.根据权利要求1所述的非规则物料的图像语义分割方法，其特征在于，步骤S1中构建训练数据集，包括两个子数据集T_a和T_b，其中数据集T_a是一个未标记非规则物料图像集合，T_a＝{u₁，...，u_J}，其中u_j代表每一幅非规则物料图像，j＝1，2，...，J；数据集T_b是经过数据清洗的非规则物料图像集合，并且每一幅图像都是经过语义分割标注，T_b＝{(u₁，v₁)，...，(u_L，v_L)}，其中u_l代表每一幅非规则物料图像，v_l代表对应于图像u_l的语义分割标注掩码标签，l＝1，2，...，L，J＞＞L。

3.根据权利要求1所述的一种非规则物料的图像语义分割方法，其特征在于，步骤S2中像素级渲染模块带有残差跳跃连接设计，从输入端起依次具有5个串接特征层，在每个特征层添加一个额外的分支，以输出语义分割准标注掩码v以及图像输出u。

4.根据权利要求3所述的一种非规则物料的图像语义分割方法，其特征在于，训练时将作为输入，是一种随机噪声空间，该空间随机变量表示为h，即随机变量h服从标准正态分布先通过全连接网络、全卷积网络和1×1卷积层将p(h)转换为一个新的空间分布p(r)，该空间表示为转换的标准是该空间分布p(r)更符合或逼近智慧工厂生产场景中的非规则物料的图像语义分布，其中的随机变量在仿射变换之后，这些新调整分布的噪声变量r被馈送到像素级渲染模块的特征层；输出图像和语义分割准标注掩码标签其中是输出图像分布空间，是非规则物料的图像语义分割准标注掩码标签分布空间，该形式为

5.根据权利要求1所述的非规则物料的图像语义分割方法，其特征在于，像素级渲染模块在训练中采用的目标函数为形式如下

其中S型函数Sigmod(t)＝S(t)＝1/(1+e^-t)，训练目标是通过反向传播梯度下降法最小化目标函数