[发明专利]一种基于深度学习和双目立体视觉相结合的测距方法

权利要求书

1.一种基于深度学习和双目立体视觉相结合的测距方法，其特征在于包括以下步骤：

步骤(1)：首先由标定后的双目相机模块捕获现实场景下的图像；

步骤(2)：将步骤(1)中目标相机模块中的左目相机捕获的图像输入到基于深度学习的物体识别模块，框选出在输入图像中能够识别到的物体，并且给出识别到的物体的具体名称和所在区域，如果输入图像不包含可以识别到的物体，则仅进行三维重建，然后返回到步骤(1)；

步骤(3)：将双目相机捕获的图像输入到双目立体视觉的三维重建模块进行三维重建，生成视差图，再将步骤(2)中得到的所述物体所在区域的坐标输入给双目视觉模块，将物体识别模块输出的物体所在区域坐标位置应用到视差图，框选出该坐标位置对应的区域，双目视觉模块对在视差图中框选出的区域利用统计方法—众数，对该框选出来的所述区域的灰度值进行按列统计，得到灰度值统计结果；

步骤(4)：对步骤(3)的灰度值统计结果进行去重处理，然后对去重后的结果进行从小到大的排序，如果排序后的灰度值个数大于2个，则删除第一个和最后一个灰度值，即去掉灰度最大值和灰度最小值，从剩下的灰度值中选取一个作为框选区域灰度值的代表；如果灰度值个数小于等于2个，则仅取最后一个灰度值作为区域的灰度值的代表；

步骤(5)：双目视觉模块生成的视差图为二维数组，求得步骤(4)中输出的区域的灰度代表值对应的坐标位置，双目视觉模块从各个区域的灰度代表值对应的坐标位置中任选一个坐标作为区域灰度值众数的代表，利用灰度值在深度图中的坐标位置，即求得框选出的区域包含的物体的距离。

2.根据权利要求1所述的方法，其特征在于：步骤(2)利用步骤(1)中左目相机捕获的图像输入到基于深度学习的物体识别模块进行物体识别，输入图像来自于双目相机模块的左目相机捕获的图像，如果输入图像包含有可以识别到的物体，则输出各个物体在输入图像中的坐标位置及其名称，如果输入图像中没有识别模块可以识别到的物体，则在进行三维重建后，然后返回到步骤(1)。

3.根据权利要求1所述的方法，其特征在于：步骤(3)利用一种统计方法——众数，对步骤(2)识别出来的坐标位置对应到视差图中的区域进行灰度值的按列统计，得到视差图中被框选区域每一列的灰度值众数。

4.根据权利要求1所述的方法，其特征在于：步骤(4)对步骤(3)得到的灰度值进行以下操作：

(1)去除步骤(3)统计后得到的灰度值中的重复值；

(2)对去重后的灰度值，进行从小到大的排序；

针对排序后得到的灰度值不同个数，再进行分别处理：

(1)如果排序后灰度值的个数大于2个，那么去掉排序后的第一个和最后一个灰度值，即去掉排序后得到的灰度最大值和最小值，从剩下的灰度值中选取一个作为该区域的灰度值的代表值；

(2)如果排序后得到的灰度值个数小于或等于2个，那么选取最后一个灰度值作为该区域的灰度代表值；

这样，对视差图中框选区域统计后得到的灰度值，总能找到一个区域的灰度代表值，保证了后续步骤能够有持续的输入值，增强系统的稳健性。

5.根据权利要求1所述的方法，其特征在于：步骤(5)中，根据步骤(4)输出的灰度代表值，在视差图中得到区域灰度代表值所在的坐标位置，在视差图中有很多个坐标的灰度值都等于灰度代表值，由于视差图中的灰度值与距离是一一对应的，即只要灰度值一样，无论这个坐标点位于视差图中的何处，它代表的距离是不会因为坐标位置的不同而改变的，从灰度代表值在视差图中对应的多个坐标中，任选一个坐标，在深度图中得到该坐标位置处的深度信息，该深度信息即为物体识别模块所框选出来的物体与双目相机之间的距离。