[发明专利]语义分割及网络训练方法和装置、设备、介质

权利要求书

1.一种语义分割方法，其特征在于，包括：

对图像进行处理，得到所述图像的第一图像特征和所述图像的全局语义信息；

基于所述全局语义信息和所述第一图像特征，得到第二图像特征；

基于所述第二图像特征，获得所述图像的语义分割结果；

所述方法通过语义分割网络实现，所述方法还包括：

利用所述语义分割网络对样本图像进行处理，获得所述样本图像的第一语义分割预测结果；

利用语义编码损失网络对所述样本图像进行编码处理，获得所述样本图像的第二语义分割预测结果；

基于所述样本图像的第一语义分割预测结果、样本图像的第二语义分割预测结果和所述样本图像的标注语义分割信息，训练所述语义分割网络。

2.根据权利要求1所述的方法，其特征在于，所述全局语义信息包括与至少一个语义类别对应的至少一个缩放因子向量。

3.根据权利要求1所述的方法，其特征在于，所述基于所述全局语义信息和所述第一图像特征，得到第二图像特征，包括：

对所述全局语义信息和所述第一图像特征进行卷积处理，得到第二图像特征。

4.根据权利要求1所述的方法，其特征在于，所述对图像进行处理，得到所述图像的第一图像特征，包括：

对所述图像进行卷积处理，得到所述图像的第一图像特征。

5.根据权利要求1所述的方法，其特征在于，所述对图像进行处理，得到所述图像的全局语义信息，包括：

基于所述第一图像特征，得到所述全局语义信息。

6.根据权利要求5所述的方法，其特征在于，所述基于所述第一图像特征，得到所述全局语义信息，包括：

对所述第一图像特征进行编码处理，得到所述第一图像特征的编码结果；

基于所述第一图像特征的编码结果，得到所述全局语义信息。

7.根据权利要求6所述的方法，其特征在于，所述对所述第一图像特征进行编码处理，得到所述第一图像特征的编码结果，包括：

确定字典和所述字典对应的权重，所述字典包括至少一个字典基；

基于所述字典和所述字典对应的权重，对所述第一图像特征进行编码处理，得到所述第一图像特征的编码结果。

8.根据权利要求6所述的方法，其特征在于，基于所述第一图像特征的编码结果，得到所述全局语义信息，包括：

对所述第一图像特征的编码结果进行全连接处理，得到图像向量；

利用激活函数对图像向量进行处理，得到所述全局语义信息。

9.根据权利要求7所述的方法，其特征在于，所述第一图像特征包括至少一个特征图；

基于所述字典和所述字典对应的权重，对所述第一图像特征进行编码处理，得到所述第一图像特征的编码结果，包括：

分别计算至少一个所述特征图中的每个特征图与所述字典的每个字典基的对应元素的差值，并基于所述差值获得编码结果。

10.根据权利要求1所述的方法，其特征在于，基于所述全局语义信息和所述第一图像特征，得到第二图像特征，包括：

将所述第一图像特征与所述全局语义信息中的缩放因子向量的点积结果确定为所述第二图像特征。

11.根据权利要求1所述的方法，其特征在于，基于所述第二图像特征，获得所述图像的语义分割结果，包括：

对所述第二图像特征执行卷积处理，得到卷积结果；

对所述卷积结果进行分类处理，得到所述图像的语义分割结果。

12.根据权利要求11所述的方法，其特征在于，对所述第二图像特征执行卷积处理，得到卷积结果，包括：

对所述第二图像特征执行仅一次卷积处理，得到卷积结果。