[发明专利]一种基于立体视觉的目标检测方法及系统

权利要求书

1.一种基于立体视觉的目标检测方法，其特征在于，对立体视觉的一侧视图使用深度学习算法进行目标检测，获取该侧视图的目标区域和类别及类别置信度；

采用基于立体视觉的视差图处理算法获取候选目标区域，对候选目标区域使用深度学习分类模型进行分类，得到立体视觉目标区域和类别及类别置信度，包括：对立体视觉的该侧视图和位于该侧视图对面的侧视图进行双目标定，利用半全局立体匹配算法对标定后的两侧视图进行立体匹配，得到立体视觉视差图；获取立体视觉视差图中每个像素点的隶属度数据，对所述隶属度数据进行二值化处理，得到隶属度数据二值化图像，再对隶属度数据二值化图像进行形态学开运算处理，对开运算后的隶属度数据二值化图像通过种子填充算法处理，获取该二值化图像的联通区域，获取每一个联通区域的外接矩形，形成候选目标区域；利用深度学习ResNet34模型对候选目标区域进行分类得到立体视觉目标区域和类别及类别置信度；将所述该侧视图的目标区域和类别与所述立体视觉目标区域和类别进行合并，得到最终目标区域。

2.根据权利要求1所述的基于立体视觉的目标检测方法，其特征在于，采用深度学习YOLOV3目标检测算法进行目标检测，以获得目标区域和类别及类别置信度。

3.根据权利要求1所述的基于立体视觉的目标检测方法，其特征在于，对该侧视图的目标区域和立体视觉目标区域，计算它们之间的交并比；

通过交并比和预先设定的阈值进行比较，若交并比大于阈值则以两个区域的类别置信度较大的区域为最终目标区域，若交并比小于等于阈值的两个区域，则这两个区域都为最终目标区域。

4.一种基于立体视觉的目标检测系统，其特征在于，包括单侧视图目标区域和类别获取模块、立体视觉目标区域和类别获取模块以及最终目标区域获取模块；

所述单侧视图目标区域和类别获取模块用于对立体视觉的一侧视图使用深度学习算法进行目标检测，获取该侧视图的目标区域和类别及类别置信度；

所述立体视觉目标区域用于采用基于立体视觉的视差图处理算法获取候选目标区域，对候选目标区域使用深度学习分类模型进行分类，得到立体视觉目标区域和类别及类别置信度；

所述最终目标区域获取模块用于将所述该侧视图的目标区域和类别与所述立体视觉目标区域和类别进行合并，得到最终目标区域；

所述立体视觉目标区域和类别获取模块包括立体视觉视差图获取模块、候选目标区域获取模块和深度学习ResNet34模型处理模块；

所述立体视觉视差图获取模块用于对立体视觉的该侧视图和位于该侧视图对面的侧视图进行双目标定，利用半全局立体匹配算法对标定后的两侧视图进行立体匹配，得到立体视觉视差图；

所述候选目标区域获取模块用于获取立体视觉视差图中每个像素点的隶属度数据，再利用种子填充算法对隶属度数据进行处理获取候选目标区域；

所述深度学习ResNet34模型处理模块用于利用深度学习ResNet34模型对候选目标区域进行分类得到立体视觉目标区域类别及类别置信度；

所述候选目标区域获取模块包括二值化处理模块、形态学开运算处理模块和种子填充算法处理模块；

所述二值化处理模块用于对所述隶属度数据进行二值化处理，得到隶属度数据二值化图像；

所述形态学开运算处理模块用于对二值化图像进行形态学开运算处理，得到消除孤立像素后的隶属度数据二值化图像；

所述种子填充算法处理模块用于对得到的消除孤立像素后的隶属度数据二值化图像通过种子填充算法进行处理，以获取该二值化图像的联通区域，获取每一个联通区域的外接矩形，形成候选目标区域。

5.根据权利要求4所述的基于立体视觉的目标检测系统，其特征在于，所述单侧视图目标区域和类别及类别置信度获取模块包括目标检测模块，用于采用深度学习YOLOV3目标检测算法进行目标检测。

6.根据权利要求4所述的基于立体视觉的目标检测系统，其特征在于，所述最终目标区域获取模块包括交并比处理模块和最终目标区域判断模块；

所述交并比处理模块用于对该侧视图的目标区域和立体视觉目标区域，计算它们之间的交并比；

所述最终目标区域判断模块用于通过交并比和预先设定的阈值进行比较，若交并比大于阈值则以两个区域的类别置信度较大的区域为最终目标区域，若交并比小于等于阈值的两个区域，则这两个区域都为最终目标区域。