[发明专利]一种面向视觉特征退化图像的固废对象分割方法

摘要

一种适用于视觉特征退化图像的固废对象分割方法，主要涉及于机器人视觉和图像分割等领域。由于视觉特征退化和固废物体存在粘连和遮挡情况，传统图像分割算法很难得到高精度的分割结果。本发明通过深度背景建模得到背景模型，比较背景模型和固废点云来提取前景mask。提取前景mask中的局部mask，将整张图像分割问题转换成了多个局部mask的分割问题。对于局部mask，通过模糊区域提取来分割粘连和遮挡物体，最后执行模糊区重标记来得到高精度的分割结果。本发明分割精度高，能够有效分割严重颜色退化的固废物体，并且对于粘连和遮挡的固废物体，分割效果也十分的理想。

主权项

1.一种面向视觉特征退化图像的固废对象分割方法，所述分割方法包括如下步骤：1)、通过一系列背景点云数据的深度信息建立背景深度高斯混合模型，对于图像中每一个像素，通过高斯混合分布来建模，一个像素的深度等于d的概率分布用公式(1.1)来表示，其中，w_j是第j个高斯分布的权重，K是高斯分布的总数，η(d；Θ_j)是第j个高斯分布，用公式(1.2)来表示，其中，μ_k是第k个高斯分布的均值，∑_k是第k个高斯分布的协方差矩阵，∑_k＝σ_k²I，I是单位矩阵，σ_k是第k个高斯分布的标准差，K个高斯分布按照w_k/σ_k排序，排序前B的高斯分布，被作为背景模型，B通过公式(1.3)得到，其中，T是最小的阈值，对于固废点云中任意一个像素，找到对应位置的背景模型，如果它的深度值和背景模型中所有高斯分布的均值μ_k的差的绝对值大于标准差σ_k的设定倍数，该像素被作为前景像素；2)、通过比较背景模型和待处理固废点云，在二值图上，前景像素对应位置设为255，背景像素设为0，得到前景mask，提取前景mask中连通的局部maskM_local，并且提取相应的局部RGB图，局部mask的外轮廓图F_c和局部深度边缘图E_m，将整张图像的分割问题转换成多个局部mask的分割问题；3)、对于每一个局部mask，在相应的局部RGB图像上进行超像素分割，得到超像素集合S＝{s₁，s₂，s₃，…，s_n‑1，s_n}，s_i表示一个单独的超像素，同时也是一个点集，由多个特征相近的像素组成；4)、通过局部mask的外轮廓图F_c和局部边缘图E_m，根据公式(4.1)得到内部边缘E_inner图，E_inner＝E_m‑F_c⊕C_2*r+1，         (4.1)其中，F_c⊕C_2*r+1表示在F_c上执行模糊核大小为(2*r+1)的膨胀操作，通过公式(4.2)提取边缘像素集E_p，E_p＝{p(x，y)|E_inner(x，y)＝255}，           (4.2)其中，p(x，y)为满足条件的像素点，E_inner(x，y)为E_inner图上第y行，第x列的像素值；5)、通过超像素集合S和边缘像素集E_p，根据公式(5.1)提取边缘超像素集B_sp，其中，p是图像中任意像素点，s_k是满足条件的超像素，将B_sp中邻接的超像素提取出来作为邻接超像素集合，每一个邻接超像素集定义为边界区域B_region；6)、基于边界区域B_region，通过一个迭代来生成模糊区，迭代过程如公式(6.1)，其中是B_region经过t次扩张后的边界区域，边界区域每次扩张通过合并邻接的超像素来完成，通过公式(6.2)扩张为其中，是边界区域的邻接超像素集，t初始为0，每一次迭代，t加1，经过一次或者多次迭代后，M_obj会被分为多个独立的块，对于一个独立的块，如果它含有设定数量个或者更多的超像素，那么认为它是组成一个对象的有效部分，否则认为是无效部分，当t大于设定阈值或者M_obj拥有两块或者两块以上相互独立的有效部分时，迭代过程停止，通过公式(6.3)计算得到的边界区域的可信度，其中，是最终生成的边界区域，ft是最终边界区域扩张的次数，表示拥有的像素个数，边界区域占局部mask的比例越大，它成为模糊区的可能性越小，f＝1表示M_obj含有两块或者两块以上相互独立的有效部分；f＝0表示M_obj没有两块或者两块以上相互独立的有效部分，如果大于一个阈值C，这个边界区域就被选择作为模糊区，是粘连和遮挡物体间难以区分的区域，如果一个局部mask没有模糊区，则认为是单个物体；如果存在模糊区，则需要7)的精确分割；7)、通过对局部mask上的所有像素进行分配标签来实现精确分割，进行初级标记时，将不同标签la分配给不同有效部分的像素，la＝{1，2，3...}，然后分配0给模糊区和M_obj中无效部分的像素；8)、为了精确标记模糊区，提取模糊区的邻接超像素集，根据这些超像素的标签，分为两个或者两个以上的邻接超像素集，计算超像素集中的每一块超像素的LAB颜色和深度的均值，和超像素的中心坐标，对于任意一个la＝0的像素，通过公式(8.1)计算它与超像素的差异度，其中，d_lab为LAB颜色空间上的欧式距离，d_depth为深度的欧式距离，d_xy是图像坐标系上坐标的欧氏距离，w_lab，w_depth和w_xy是各个距离的权重，i是超像素集中超像素的序号，得到像素与超像素集合中所有超像素的差异度后，通过公式(8.2)来计算像素与邻接超像素集合间差异度，diff＝min_0＜i≤n(diff_i)，               (8.2)其中，i是超像素集中超像素的序号，n是邻接超像素集中超像素的个数，对于得到的diff，diff越小表示像素与邻接超像素集越相似，将最相似的超像素集的标签分配给该像素，当la＝0的所有像素重标记结束后，局部mask完成分割，检查结果是否存在孤立的点或者区域，通过分配最多邻居像素拥有的标签来实现分割结果的优化。