[发明专利]一种通过联合嵌入从像素中构造图像的语义分割方法

说明书

技术领域

本发明涉及图像语义分割领域，尤其是涉及了一种通过联合嵌入从像素中构造图像的语义分割方法。

背景技术

随着多媒体和互联网技术的迅猛发展，网络图像资源与日俱增，图像已经成为一种非常重要的信息资源，其包含的信息量远远大于文字，因此如何充分理解图像中所包含的语义内容、如何真正有效地利用语义进行图像资源的检索，如今已成为一个重要的课题。在时尚领域，通过对人体的语义分割可以定位出人脸、躯干、着装等信息，从而帮助人们在互联网购物过程中实现自动试衣等功能；在自动驾驶领域，通过对车体前方场景的语义分割可以精确定位道路、车体和行人等场景或物体信息，从而提升自动驾驶的安全性；以及在无人机的着陆点判断和在穿戴式设备中的应用。由于特征维数高，运算复杂度高，从提高检索精度或分类正确率的角度而言，都不可能将所有提取的特征都能用于检索或分类。

本发明提出了一种通过联合嵌入从像素中构造图像的语义分割方法，网络先找到构成图像的所有顶点和边缘，每个图像元素基于网络识别的像素位置，再将各种图像放在一起，通过训练网络，与类和边界框预测相同的步骤产生额外的输出，对于每个顶点，网络以向量嵌入的形式产生标识符，并且对于每个边缘，产生相应的嵌入以引用其源和目标顶点，最后网络在可能的对象类和边界框大小之间生成分布，将输出与可用的标定的真实信息进行最佳匹配。本发明提出的监督允许单个网络的端到端训练，提高了检测精度，场景图像生成的速率大大提高，灵活性、推广性和实用性都有所增强。

发明内容

针对运算复杂度高等问题，本发明的目的在于提供一种通过联合嵌入从像素中构造图像的语义分割方法，网络先找到构成图像的所有顶点和边缘，每个图像元素基于网络识别的像素位置，再将各种图像放在一起，通过训练网络，与类和边界框预测相同的步骤产生额外的输出，对于每个顶点，网络以向量嵌入的形式产生标识符，并且对于每个边缘，产生相应的嵌入以引用其源和目标顶点，最后网络在可能的对象类和边界框大小之间生成分布，将输出与可用的标定的真实信息进行最佳匹配。

为解决上述问题，本发明提供一种通过联合嵌入从像素中构造图像的语义分割方法，其主要内容包括：

(一)检测图像元素；

(二)连接元素与联合嵌入；

(三)支持重叠检测。

其中，所述的从像素中构造图像，构建一个基于这些像素空间的图像，除了识别图像的顶点外，还要获得它们的精确位置；在这种情况下，顶点可以指任何场景中的感兴趣对象，这些对象之间的关系由图像的边缘捕获。

进一步地，所述的顶点，考虑有向图G＝(V,E)，给定的顶点v_i∈V基于位置(x_i,y_i)，并由其类和边界框定义；每个边缘e∈E采用形式e_i＝(v_s,v_t,r_i)，定义从v_s到v_t的类型r_i的关系；训练一个网络定义V和E；这种训练是在一个单一网络上端到端进行的，允许网络在进行预测时充分考虑图像和图像的所有可能组成部分；

当生成的图像全部同时出现时，它有助于在两个主要步骤中考虑该过程：检测图像的各个元素，并将这些元素连接在一起；对于第一步，网络指示顶点和边缘可能存在的位置，并预测这些检测的属性；对于第二步，确定哪两个顶点通过检测边缘连接在一起。

其中，所述的检测图像元素，首先，网络必须找到构成图像的所有顶点和边缘；每个图像元素基于网络识别的像素位置；在顶点与物体检测对应的场景图中，对象边界框的中心将用作基础位置；在源和目标顶点的中点处磨削边缘：通过使用以高输出分辨率产生每个像素特征的网络来检测单个元素；像素处的特征向量确定边缘或顶点是否存在于该位置，如果是，则用于预测该元素的属性；

卷积神经网络用于处理图像并产生大小为h×w×f的特征张量；因此，用所需的所有信息定义顶点或边缘，编码在长度为f的特征向量中的特定像素处；

使用堆叠的沙漏网络来处理图像，并产生输出特征张量；沙漏设计将全局和局部信息结合在一起来推断整个图像，并产生高质量的每个像素的预测。

进一步地，所述的特征张量，为了预测图像元素的存在，采用最终特征张量，并应用1×1卷积和S形激活函数产生两个热点图(一个用于顶点，另一个用于边缘)；每个热点图表示顶点或边缘存在给定像素处的可能性；监督热点图激活的二进制交叉熵损失，对结果设置阈值，产生候选检测集；