[发明专利]语义分割及网络训练方法和装置、设备、介质

说明书

本公开实施例公开了一种语义分割及网络训练方法和装置、设备、介质、程序，其中方法包括：对图像进行处理，获得所述图像对应的至少一个第一图像特征，和全局语义信息；基于所述全局语义信息和所述第一图像特征，得到第二图像特征；基于所述第二图像特征，获得所述图像的语义分割结果。本公开上述实施例，获得的图像语义分割结果，能够基于全局语义信息得到图像的语义分割结果，从而有利于提高语义分割性能。

技术领域

本公开涉及计算机视觉技术，尤其是一种语义分割及网络训练方法和装置、设备、介质。

背景技术

场景分析(Scene parsing)是基于语义分割，对描述场景的图像中的每一个像素赋予一个类别，并对不同的类别标注不同的颜色。场景分析是目标识别、图像检索、视频标注等的基础，在复杂场景中如果能够更好的利用场景分析对于场景理解的像素级理解非常关键，近年来已成为计算机视觉领域的研究热点。

发明内容

本公开实施例提供的一种语义分割技术。

根据本公开实施例的一个方面，提供的一种语义分割方法，包括：

对图像进行处理，得到所述图像的第一图像特征和所述图像的全局语义信息；

基于所述全局语义信息和所述第一图像特征，得到第二图像特征；

基于所述第二图像特征，获得所述图像的语义分割结果。

在基于本发明上述方法的另一个实施例中，所述全局语义信息包括与至少一个语义类别对应的至少一个缩放因子向量。

在基于本发明上述方法的另一个实施例中，所述基于所述全局语义信息和所述第一图像特征，得到第二图像特征，包括：

对所述全局语义信息和所述第一图像特征进行卷积处理，得到第二图像特征。

在基于本发明上述方法的另一个实施例中，所述对图像进行处理，得到所述图像的第一图像特征，包括：

对所述图像进行卷积处理，得到所述图像的第一图像特征。

在基于本发明上述方法的另一个实施例中，所述对图像进行处理，得到所述图像的全局语义信息，包括：

基于所述第一图像特征，得到所述全局语义信息。

在基于本发明上述方法的另一个实施例中，所述基于所述第一图像特征，得到所述全局语义信息，包括：

对所述第一图像特征进行编码处理，得到所述第一图像特征的编码结果；

基于所述第一图像特征的编码结果，得到所述全局语义信息。

在基于本发明上述方法的另一个实施例中，所述对所述第一图像特征进行编码处理，得到所述第一图像特征的编码结果，包括：

确定字典和所述字典对应的权重，所述字典包括至少一个字典基；

基于所述字典和所述字典对应的权重，对所述第一图像特征进行编码处理，得到所述第一图像特征的编码结果。

在基于本发明上述方法的另一个实施例中，基于所述第一图像特征的编码结果，得到所述全局语义信息，包括：

对所述第一图像特征的编码结果进行全连接处理，得到图像向量；

利用激活函数对图像向量进行处理，得到所述全局语义信息。

在基于本发明上述方法的另一个实施例中，所述第一图像特征包括至少一个特征图；

基于所述字典和所述字典对应的权重，对所述第一图像特征进行编码处理，得到所述第一图像特征的编码结果，包括：