[发明专利]实例级语义分割系统

说明书

本公开的实施例涉及实例级语义分割系统。某些方面包含通过确定针对数字视觉媒体的每个像素的得分来对数字视觉媒体中的对象进行语义分割，该得分表示每个像素与关联于数字视觉媒体内的边界框的对象相对应的可能性。至少部分地基于包括针对数字视觉媒体的每个像素的得分的共同概率图，确定实例级标签，其产生与对象相对应的数字视觉媒体的像素中的每个像素的标签。在一些方面中，通过由神经网络训练的预测模型来确定与每个边界框相对应的每个像素的得分。

技术领域

本公开总体上涉及用于数字图像处理的计算机实现的方法和系统，并且更特别地涉及在实例级的数字媒体的语义分割。

背景技术

随着数字照相机、智能电话和其他技术的进步，采集、访问和利用图像和视频的能力已经稳固提升。例如，商业现在常规地利用数字视觉媒体，以用于演示、广告、招聘、推销和其他目的(特别地用于在线平台)。类似地，个体现在常规地利用数字视觉媒体，以用于通信、娱乐或雇佣目的。

数字视觉媒体的使用中的增加的激增已经导致用于处理这样的数字视觉媒体(例如，数字图像或视频的修改或操纵)的系统和方法的使用中的增加。例如，数字图像可以包括用户试图选择并且移动、修改、复制、粘贴或调整大小的特征或对象(例如，人、宠物、汽车等)。响应于该用户需求，已经开发允许用户标识、选择以及标记数字视觉媒体(例如，数字图像)内的对象的一些数字对象选择系统。在一些这样的系统中，数字视觉媒体中的对象的标识可以涉及至少部分自动化的过程。

在一个示例中，传统系统采用用于检测(即，标识介质中的对象)和分割(例如，将介质划分为与对象相对应的段)的方法，其包括生成针对对象的实例的若干边界框。边界框包括定义与对象的至少部分的位置相对应的像素集合的矩形(或正方形)。给定边界框，计算分割。该方法考虑了针对给定对象实例的多个分割。方法还常常返回针对单个对象实例的多个重叠候选，其中不同的类别标签应用到由分割所确定的实例中的每个实例。不同的类别标签可能导致对象的错误标记。因此，该方法达不到产生图像的基于实际实例的分割。

在另一示例中，传统系统采用标记给定对象类别的所有像素的语义分割方法。例如，给定包括三个人的数字图像，在没有将一个人对象与另一个人对象区分的情况下，系统将与三个人相对应的所有像素标记为类别“人”。类似地，如果图像中的一个人正接触另一人(例如，两个人对象重叠)，则传统系统未提供将他们彼此分离的方式，这产生与这两人(而不是作为个体目标对象的每个人)相对应的表示(例如，图像掩模)。

因此，现有分割方案算法可能呈现缺点，诸如(但不限于)上文所描述的那些缺点。

发明内容

本公开的一个示例性方面包含实例级的数字视觉媒体中的目标对象的语义分割。例如，处理设备接收与数字视觉媒体中的目标对象集合相对应的边界框集合。对于边界框中的每个边界框而言，处理设备确定针对数字视觉媒体的每个像素的得分。得分表示每个像素与对应于边界框的目标对象相对应的可能性。处理设备至少部分地基于包括数字视觉媒体中的每个像素的得分的共同概率图，来产生数字视觉媒体的、与目标对象相对应的像素中的每个像素的标签的实例级标签。

本公开的另一示例性方面包含自动地分割数字视觉媒体。例如，处理设备接收具有与数字视觉媒体内的对象相对应的第一边界框的数字视觉媒体。处理设备基于第一边界框，来生成与数字视觉媒体内的对象相对应的附加边界框集合。第一边界框和附加边界框组合形成边界框集合。处理还生成与边界框集合相对应的距离图集合。处理设备将数字视觉媒体与距离图集合中的每个距离图相连结以生成训练对集合。神经网络被训练，以基于训练对，来对数字视觉媒体的、与对象相对应的像素进行分割。

这些说明性特征不是用于限制或定义本公开内容，而是提供辅助其理解的示例。在详细描述中讨论了附加方面，并且在那里提供进一步的描述。

附图说明

在参考附图阅读以下详细描述时，本公开的这些和其他特征、实施例和优点变得更好地理解。本专利或申请文件包含按颜色执行的至少一个附图。