[发明专利]基于地平面检测从图像序列中恢复人类对象的缺失脚部

权利要求书

1.一种对象分割系统，包括：

第一类型传感器，被配置为捕获场景的彩色图像帧序列；

第二类型传感器，被配置为捕获所述彩色图像帧序列中的每个对应彩色图像帧的深度图像；以及

控制电路，被配置为：

基于从所述第二类型传感器接收的输入彩色图像帧的对应输入深度图像，生成从所述第一类型传感器接收的所述彩色图像帧序列的输入彩色图像帧的点云；

基于第一图像参数集合从所述输入彩色图像帧的背景分割前景人类对象，其中，分割的前景人类对象缺少前景人类对象的脚部区域的至少部分；

通过将从所生成的点云中的多个点投影的多个向量聚类成向量簇集合来检测在所述输入彩色图像帧中捕获的所述场景的地平面，其中，基于与所生成的点云中的所述向量聚类集合中的一个向量聚类相关联的取向信息来检测所述场景的地平面；

基于与所述第一图像参数集合不同的第二图像参数集合，恢复距离所述输入彩色图像帧中所检测到的地平面的水平的限定区域中的脚部区域；以及

基于对地平面的检测和距离所检测到的地平面的水平的限定区域中的多个前景像素，从所述彩色图像帧序列的输入彩色图像帧的背景中提取包括所恢复的脚部区域的前景人类对象。

2.根据权利要求1所述的系统，其中，所述控制电路还被配置为：

检测输入深度图像中不存在深度值的多个区域；以及

通过中值滤波器和均匀滤波器来平滑所述输入深度图像，以填充所述多个区域处的深度值并减少所述输入深度图像中的噪声。

3.根据权利要求1所述的系统，其中，所述控制电路还被配置为基于所述输入深度图像来确定所生成的点云中的每个点的三维3D坐标。

4.根据权利要求3所述的系统，其中，所述控制电路还被配置为基于针对在所述输入彩色图像帧中捕获的所述场景所生成的点云的所述多个点中的感兴趣点和所述感兴趣点的两个相邻点的三维3D坐标，计算从所生成的点云中的多个点投影的多个向量，其中，基于与所计算的多个向量中的每个向量相关联的取向信息，将与所生成的点云中的所述多个点相关联的所计算的多个向量聚类到所述向量聚类集合。

5.根据权利要求4所述的系统，其中，所述控制电路还被配置为基于与在所述输入彩色图像帧中捕获的所述场景相关联的所述向量聚类集合，检测在所述输入彩色图像帧中捕获的所述场景的多个平面。

6.根据权利要求5所述的系统，其中，所述控制电路还被配置为基于与在所述输入彩色图像帧中捕获的场景相关联的所述向量聚类集合来生成平面图，其中，所述输入彩色图像帧的图像域中的所检测到的多个平面被映射以生成所述平面图。

7.根据权利要求6所述的系统，其中，所述平面图包括基于与所述平面图中的每个像素相关联的相同取向信息而在所述平面图中的所检测到的多个平面的不同平面中分组的像素，而不考虑在所述场景的所述输入彩色图像帧的所述图像域中，所述像素在所述平面图中的空间定位。

8.根据权利要求7所述的系统，其中，所述控制电路还被配置为基于所述平面图中的面积大小小于所述图像域中的第一阈值像素数量的多个隔离区域的面积大小来检测所述平面图中的所检测到的多个平面中的多个隔离区域。

9.根据权利要求8所述的系统，其中，所述控制电路还被配置为消除所述平面图中的所检测到的多个隔离区域，之后通过中值滤波器的平滑操作来平滑小于所述图像域中的第二阈值像素数量的所检测到的多个隔离区域。

10.根据权利要求7所述的系统，其中，所述控制电路还被配置为针对所述场景的从所述平面图中的所检测到的多个平面中选择距离参考高度的最低平面，其中，所述参考高度对应于捕获所述场景的所述彩色图像帧序列的所述第一类型传感器的高度，并且其中，所述平面图中的所检测到的多个平面中的所选择的最低平面是在所述输入彩色图像帧中捕获的所述场景的地平面。