[发明专利]一种基于有限时空分辨率类无关属性动态场景的分割方法

说明书

本发明公开基于有限时空分辨率类无关属性动态场景的分割方法，读取包含视频序列I并为所有像素（r，c）分配一个标签l(r,c)∈L，并定义前景目标像素标签为1及背景像素标签为0；将I中的一帧视频转化为图像G=(V,E)，定义x_i∈x为每个观察节点i∈V，并将图中每个节点与离散随机变量y_i∈y关联表示G潜在标签配置；为图像G潜在标签配置采用全连接网络策略促进对象建议的评估，并建立概率评估条件随机场模型p(y|x,θ)；利用空时稀疏大位移训练集图像数据对模型训练，得到模型参数；将模型参数代入条件随机场模型对视频进行分割评估并输出分割图像。本发明能在有限时空分辨率下分割动态场景中的前景对象。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种能在有限时空分辨率下分割动态场景中的前景对象、可减轻对候选物体缺失和运动边界过填充的负面影响的基于有限时空分辨率类无关属性动态场景的分割方法。

背景技术

从动态场景中分割前景对象是计算机视觉中的一个重要问题，是许多机器人和机器人视觉技术的核心内容，包括工业检测，人机交互和机器人视觉伺服。 在复杂动态环境中所遇到的各种动态场景，成功的分割算法应该是稳健的。事实上，典型的自然场景可能包含如外观变化、相机运动、背景选择以及尺度和照明变化等许多动态因素。导致问题更加难以解决的是存在大量信息冗余，因为表征特定时空行为的连续帧通常非常相似，并且将以相对较低的变化进行多次解释。对于长期视频分割，空间和时间尺度的子采样是减少信息冗余和计算负荷的一种简单措施。然而，在这种情况下，由于采用子采样算子出现突然运动和连续帧之间的大位移，使分割问题更加恶化，带来了一些负面影响，诸如由连续帧中对应点的大位移所造成的候选对象丢失或运动边界的过填充。为了实现鲁棒性分割，关键问题是减轻在场景动力学和大位移存在下假设候选物体的负面影响。用于视频对象分割的算法可以分为两类：基于对象排序和基于运动轨迹的方法。对象性排序方法将外观或客观线索整合到分割中，无论场景动力学和大位移如何，都可以成功为每一帧提供均匀的相似对象分割。然而，相似对象区域缺少运动解释，如果改变前景对象的外观或形状，通常会导致分割失败。基于运动轨迹方法的时间线索可以减轻基于对象排序的方法固有的一些问题。然而，基于运动方法的基本假设是在前景和背景之间存在相对运动，这通常是无效的，因为一些部分或整体对象可以保持多个帧。此外，仅在运动线索上初始化前景种子往往会产生大量的假阳性假设，特别是在具有较大偏移的高动态场景情况下。

近来，基于卷积神经网络更强大的深层架构模型已经证明了在视觉识别、图像分割、运动物体分割和长期再现描述方面具有良好的应用前景。大多数情况下，基于卷积神经网络模型的分割将需要大量特定类别的用户注释，以在深层架构的高维度参数空间中进行迭代优化，这在很大程度上是容易出现局部最小值和大量注释样本，为了快速开发视频对象分割算法的实践系统中在训练负载方面是不可承受的。一般认为，利用通用属性知识依赖于已经在大数据集上训练的可用的深层卷积神经网络架构比从对象假设估计从头开始训练的标准范式更有效。虽然卷积神经网络已经证明在诸如识别和分割等任务方面取得了成功，但是预先训练的网络似乎很难很好地概括出从有限的时空分辨率的视频序列中划分出前景对象，主要是由于两个因素：（1）动态场景可能包含未被预先训练的模型看不到的类无关对象，（2）空间尺度上视频帧的有限分辨率。

发明内容