[发明专利]实例级语义分割系统

权利要求书

1.一种用于数字视觉媒体中的一个或多个对象的语义分割的计算机实现的方法，包括：

由处理设备接收与所述数字视觉媒体内的目标对象集合潜在地相对应的边界框集合；

针对所述边界框集合中的每个边界框，由所述处理设备确定针对所述数字视觉媒体的、与所述边界框集合相对应的每个像素的像素得分，所述像素得分表示每个像素与关联于所述边界框集合的所述目标对象集合相对应的可能性；以及

由所述处理设备至少部分地基于包括针对每个像素的所述像素得分的共同概率图，确定实例级标签，所述实例级标签包括针对所述数字视觉媒体的、与所述目标对象集合相对应的所述像素中的每个像素的标签，所述共同概率图与概率图的积相对应。

2.根据权利要求1所述的计算机实现的方法，其中所述目标对象集合中的至少两个目标对象具有相同的类别，并且其中确定所述实例级标签包括：将对应于所述至少两个目标对象中的第一对象的所述像素与所述数字视觉媒体的、对应于所述至少两个目标对象中的第二对象的所述像素进行区分。

3.根据权利要求1所述的计算机实现的方法，其中确定所述像素得分包括采用由神经网络训练的预测模型。

4.根据权利要求3所述的计算机实现的方法，其中所述方法还包括训练所述神经网络，所述训练包括：

由所述处理设备接收训练视觉媒体，所述训练视觉媒体具有与所述训练视觉媒体内的训练目标对象相对应的第一边界框；

由所述处理设备基于所述第一边界框来生成与所述训练视觉媒体内的所述训练目标对象相对应的多个边界框，所述第一边界框和所述多个边界框一起形成训练边界框集合；

由所述处理设备生成多个距离图，所述多个距离图中的每个距离图与所述训练边界框集合中的相应边界框相对应；

由所述处理设备将所述训练视觉媒体与所述多个距离图中的每个距离图相连结以生成多个训练对；以及

由所述处理设备基于所述多个训练对中的至少一个训练对来训练所述神经网络，以分割所述训练视觉媒体的、与所述训练目标对象相对应的像素。

5.根据权利要求4所述的计算机实现的方法，其中所述神经网络是卷积编码器-解码器网络，其包括：

卷积编码器网络，其具有一个或多个卷积层和一个或多个池化层，所述一个或多个卷积层用于训练过滤器以识别所述一个或多个目标对象的一个或多个特征，所述一个或多个池化层用于操纵所述至少一个训练对的空间大小；以及

卷积解码器网络，其具有一个或多个解卷积层和一个或多个非池化层，所述一个或多个非池化层用于重建所述数字视觉媒体的细节，

其中基于所述至少一个训练对来训练所述神经网络包括：将所述至少一个训练对输入到所述卷积编码器和所述卷积解码器以生成与所述训练目标对象相对应的二进制实例掩模。

6.根据权利要求1所述的计算机实现的方法，其中所述边界框集合基于对象检测算法，其中接收所述边界框集合包括：接收与所述边界框集合相关联的类别得分。

7.根据权利要求1所述的计算机实现的方法，其中所述边界框集合基于对象检测算法，其中与所述边界框集合相对应的类别得分基于分类算法。

8.根据权利要求1所述的计算机实现的方法，其中所述共同概率图基于针对所述边界框集合中的每个边界框的多个概率图而被生成，其中所述多个概率图中的每个概率图基于与每个边界框相对应的类别得分而被加权。

9.根据权利要求1所述的计算机实现的方法，其中确定所述实例级标签包括：使用所述共同概率图的概率来标识与所述目标对象集合中的至少一个目标对象相对应的相邻像素之间的兼容性，所述兼容性使用条件随机场模型而被标识。