[发明专利]一种通过联合嵌入从像素中构造图像的语义分割方法

权利要求书

1.一种通过联合嵌入从像素中构造图像的语义分割方法，其特征在于，主要包括检测图像元素(一)；连接元素与联合嵌入(二)；支持重叠检测(三)。

2.基于权利要求书1所述的从像素中构造图像，其特征在于，构建一个基于这些像素空间的图像，除了识别图像的顶点外，还要获得它们的精确位置；在这种情况下，顶点可以指任何场景中的感兴趣对象，这些对象之间的关系由图像的边缘捕获。

3.基于权利要求书2所述的顶点，其特征在于，考虑有向图G＝(V,E)，给定的顶点v_i∈V基于位置(x_i,y_i)，并由其类和边界框定义；每个边缘e∈E采用形式e_i＝(v_s,v_t,r_i)，定义从v_s到v_t的类型r_i的关系；训练一个网络定义V和E；这种训练是在一个单一网络上端到端进行的，允许网络在进行预测时充分考虑图像和图像的所有可能组成部分；

当生成的图像全部同时出现时，它有助于在两个主要步骤中考虑该过程：检测图像的各个元素，并将这些元素连接在一起；对于第一步，网络指示顶点和边缘可能存在的位置，并预测这些检测的属性；对于第二步，确定哪两个顶点通过检测边缘连接在一起。

4.基于权利要求书1所述的检测图像元素(一)，其特征在于，首先，网络必须找到构成图像的所有顶点和边缘；每个图像元素基于网络识别的像素位置；在顶点与物体检测对应的场景图中，对象边界框的中心将用作基础位置；在源和目标顶点的中点处磨削边缘：通过使用以高输出分辨率产生每个像素特征的网络来检测单个元素；像素处的特征向量确定边缘或顶点是否存在于该位置，如果是，则用于预测该元素的属性；

卷积神经网络用于处理图像并产生大小为h×w×f的特征张量；因此，用所需的所有信息定义顶点或边缘，编码在长度为f的特征向量中的特定像素处；

使用堆叠的沙漏网络来处理图像，并产生输出特征张量；沙漏设计将全局和局部信息结合在一起来推断整个图像，并产生高质量的每个像素的预测。

5.基于权利要求书4所述的特征张量，其特征在于，为了预测图像元素的存在，采用最终特征张量，并应用1×1卷积和S形激活函数产生两个热点图(一个用于顶点，另一个用于边缘)；每个热点图表示顶点或边缘存在给定像素处的可能性；监督热点图激活的二进制交叉熵损失，对结果设置阈值，产生候选检测集；

从检测的相应位置提取特征向量，并使用向量作为一组完全连接的网络的输入；对于希望预测的每个属性使用单独的网络，并且每个网络由具有f个节点的单个隐藏层组成；在训练期间使用顶点和边缘的标定的真实位置来提取特征；softmax损失用于监督标签，并且为了预测边界框信息，使用基于快速区域卷积神经网络的锚点框和回归偏移；

总的来说，通过网络传递图像产生一组像素特征，这些特征首先用于产生识别顶点和边缘位置的热点图；从顶部热点图位置提取单个特征向量，预测适当的顶点和边缘属性；最终的结果是组成图像的顶点和边缘检测池。

6.基于权利要求书1所述的连接元素与联合嵌入(二)，其特征在于，将各种图像放在一起，通过训练网络，与类和边界框预测相同的步骤产生额外的输出；对于每个顶点，网络以向量嵌入的形式产生唯一的标识符，并且对于每个边缘，它必须产生相应的嵌入以引用其源和目标顶点；网络必须确保嵌入在不同顶点之间是不同的，并且引用单个顶点的所有嵌入是相同的。

7.基于权利要求书6所述的构建损失惩罚函数，其特征在于，为了训练网络以生成一套一致的嵌入，需要构建损失惩罚函数；在训练过程中，有一组标定的真实注释，定义了在场景和这些对象之间的边界的唯一对象；因此可以执行两个惩罚函数：边缘通过匹配其输出嵌入而指向顶点，并且为每个顶点生成的嵌入向量都不相同；第一个惩罚函数是将所有对单个顶点的引用聚在一起，而第二个惩罚函数是分开不同的单个顶点的引用。