[发明专利]基于地平面检测从图像序列中恢复人类对象的缺失脚部

说明书

一种对象分割系统，包括第一类型传感器，第二类型传感器和控制电路。第一类传感器捕获场景的彩色图像帧序列。第二类型传感器捕获彩色图像帧序列中的每个对应的彩色图像帧的深度图像。控制电路生成输入彩色图像帧的点云。控制电路从输入彩色图像帧的背景中分割前景人类对象。控制电路检测输入彩色图像帧中捕获的场景的地平面。控制电路恢复距离检测到的地平面的水平的限定区域中的脚部区域。控制电路基于对地平面的检测，从输入彩色图像帧的背景中提取具有恢复的脚部区域的前景人类对象。

相关申请的交叉参考/引用

没有。

技术领域

本公开的各种实施例涉及从图像序列的对象提取技术。更具体地，本公开的各种实施例涉及用于基于地平面检测从图像序列进行准确的人类对象的缺失脚部恢复的对象分割装置和方法。

背景技术

图像处理领域的最新发展已经导致各种图像分割技术的进步。这样的技术便于基于不同的基于统计和/或概率图像特征的方法从特定图像分割感兴趣对象(诸如人体)。这种对象分割技术的示例可以包括基于压缩的对象分割技术、基于颜色的分割技术、基于深度的对象分割技术和基于直方图的对象分割技术。

当前，在基于特征颜色的分割方法中，可以基于从捕获图像减除预定的静态背景图像来分割感兴趣对象。然而，为了生成预定静态背景图像，当场景中不存在感兴趣对象时，需要常规对象分割装置来捕获场景的图像序列，这可能是不合需要的。场景的预定静态背景图像可以从所捕获的图像序列生成。背景图像减除方法可能进一步需要用静态相机从场景捕获图像序列。在另一基于深度的方法中，常规装置可通过使用可由深度传感器捕获的深度图像来分割感兴趣对象。在深度传感器捕获包括无效深度值的有噪声的深度图像的情况下，传统的对象分割装置可能错误地且不精确地从捕获图像分割感兴趣对象。基于这些方法分割的感兴趣对象(诸如人类对象)可能没有脚部区域，因为脚部区域靠近分割可能不准确的地平面。另外，人类对象的脚部区域周围的面积也可以被人类对象的阴影改变。因此，经分割的人类对象可能具有可能不期望的缺失的脚部区域。

通过将所描述的系统与本公开的一些方面进行比较，如在本申请的其余部分中并且参考附图所阐述的，常规和传统方法的进一步的限制和缺点对于本领域技术人员将变得显而易见。

发明内容

本发明提供了一种用于基于地平面检测从图像序列进行人类对象的缺失脚部恢复的对象分割装置和方法，其基本上如至少一幅附图所示和/或结合至少一幅附图进行描述，并在权利要求中更完整地阐述。

通过阅读本公开的以下详细描述以及附图，可以理解本公开的这些和其他特征和优点，在附图中，相同的附图标记始终表示相同的部件。

附图说明

图1是示出根据本公开的实施例的用于基于地面平面检测从图像序列进行人类对象的缺失脚部恢复的示例性网络环境的框图。

图2是示出根据本公开的实施例的示例性对象分割装置的框图。

图3A、图3B、图3C、图3D、图3E、图3F、图3G和图3H共同地示出了根据本公开实施例的用于基于地面检测从图像序列进行人类对象的缺失脚部恢复的示例性操作。

图4A、图4B和图4C共同地描述了示出了根据本公开的实施例的用于基于地面检测从图像序列进行人类对象的缺失脚部恢复的示例性操作的流程图。

具体实施方式