[发明专利]运动机器人视觉导航方法

权利要求书

1.一种运动机器人视觉导航方法，前景视场分别在左右摄像机上成像，形成左图和右图，其特征在于，包括以下步骤：

一、采集左右摄像机图像，对摄像机进行标定，得到摄像机内参数矩阵，畸变系数矩阵，本征矩阵，基础矩阵，旋转矩阵以及平移矩阵；

二、对视频进行处理得到帧图，采用基于主动光照的图像增强的方法对得到的图像进行预处理，包括以下步骤：

①利用景深将图像分为前景与背景区域；

②在景深的基础上，根据物体与背景的梯度信息把物体与背景分割开；

③选择无穷远处与物体非相关性较低的像素点作为背景光估计；

④利用红色逆通道法求出R、G、B三个通道的透射率；

⑤得到背景光与透射率之后，根据式

I^c(x)＝J^c(x)·t^c(x)+B^∞c[1-t^c(x)]

其中t^c(x)是透射率，I^c(x)代表经过图像衰减过后相机得到的图像，B^∞c表示背景光，J^c(x)是去散射后的图像；

⑥利用探测出的灰色像素的特性估计并去除人造光源的颜色增益；

⑦补偿光从光源发出到物体表面的传播过程中的衰减，校正色差；

三、基于YOLOv3网络目标检测的方法，对图像进行目标识别，包括以下步骤：

1)对数据集进行聚类分析选取锚边框，锚边框聚类方法选取包括以下步骤：

步骤(1)：将所有的预测框坐标提取出来；

步骤(2)：获得所有训练数据预测框的宽高数据；

步骤(3)：初始化k个锚边框，通过在所有的预测框中随机选取k个值作为k个锚边框的初始值；

步骤(4)：计算每个预测框与每个锚边框的IOU值，并更新anchor box锚边框；

YOLOv3通过k-means聚类出锚边框用来逻辑回归边界框，为了减小锚框大小对检测的影响采用矩形框的平均交并比对训练集所有目标使用k-means聚类获得锚框的大小，聚类的平均交并比目标函数p可由以下公式表示：

d(box，cen)＝1-IOU(box，cen) (2)

公式中IOU表示真实框box_tru和预测框box_pre交集面积和并集面积的比值，area表示面积函数，公式(2)为利用k-means聚类算法的距离度量，其中box表示矩形框大小，cen表示一个簇中心矩形框的大小，公式(3)中b表示样本，c表示通过k-means算法选择的簇中心，mk表示第k个聚类中样本的个数，m表示样本总个数，k表示聚类中心个数，i和j分别表示样本序号和聚类中的样本序号；

步骤(5)：重复步骤(4)，直到锚边框不再变化，或者达到了最大迭代次数；

2)结合多层特征图进行多尺度检测：通过多尺度跨层检测结合深层语义信息和浅层语义信息，对不同大小的特征层进行独立预测，提高对小目标的检测精度，改进卷积层特征网络，包括以下步骤：

步骤(1)：YOLOv3网络采用三个尺度特征图对应不同大小的锚框，输入尺度13*13用来预测大目标，26*26和52*52尺度特征图对中等目标、小目标预测精度；

步骤(2)：将Darketnet-53网络的第36层、11层和第8层拼接融合到小目标检测层；通过上采样将36层的32pixel*32pixel与11层、8层的64pixel*64pixel拼接作为第三个YOLO检测层，同时加入两层3*3卷积层和三层1*1卷积层增加网络深度；

3)采用DCA特征融合策略结合不同特征层：DCA特征融合策略包括以下步骤：

步骤(1)：首先假设样本数矩阵为C个单独的类，为此，n列数据可以分为C个单独的类，假设n_i列属于第i类，对于i类的第j个样本，即特征向量，记为x_ij；和分别表示所有特征集合的平均值和第i类特征的平均值，由此得到的类间散布矩阵如下：

其中有：

步骤(2)：为了更好的区分类别，式(4)中是一个对角化矩阵，满足定义：其中P是正交特征向量矩阵，是实非负特征值正交矩阵，r是由公式表示的最大非零特征向量矩阵那么矩阵P的定义如公式(6)所示：

r的最显著特征可以通过映射得到，为转移矩阵，归一化S_bx并对数据矩阵进行降维P→r，记输入的其中一个特征集为X，则X在空间上的投影X′的求解如公式(7)和(8)所示：

W_bx^TS_bxW_bx＝I (7)

同理可得另一输入特征集Y在空间上的投影Y′，公式如下(9)和(10)：

W_by^TS_byW_by＝I (9)

步骤(3)：为了让X与Y的特征保持非零相关，利用SVD奇异值分解对两者的协方差矩阵进行对角化，先定义S′_xy＝X′Y′^T，对角化推算如下：

定义W_cx＝U∑^-1/2，W_cy＝U∑^-1/2，得到(v∑^-1/2)S′_xy(U∑^-1/2)^T＝I，最后进行转换，得到新的特征集X^*，Y^*，如公式(12)和(13)所示：

X^*＝W_cx^TX′＝W_cx^TW_bx^TX＝W_xX (12)

Y^*＝W_cy^TY′＝W_cy^TW_by^TY＝W_xY (13)

4)进行边框损失函数参数优化，包括以下步骤：

步骤(1)：对网络模型超参数的设定，损失优化，在训练过程中，首先通过预测值与真实值比较得到loss函数，判断训练次数，当次数小于设定的次数，再根据loss反向传播更新模型参数，本方法引入泛化版交并比GIOU，对于预测框A和真实框B，先求出A和B的最小凸包C，再根据交并比IOU的值得到泛化版交并比GIOU，计算公式如下式(14)和(15)所示：

式中，C表示预测框和真实框的最小包围框的面积，A∪B表示真实框和预测框的面积之和减去两者的重叠面积；

步骤(2)：生成边框代价函数，GIOU值总是小于等于IOU，其值位于区间[0，1]，所以GIOU值位于区间[-1，1]，当预测框和真实框完全重合的时候，GIOU＝1；当预测框和真实框不重合，即IOU为零值，GIOU越接近-1，两者的距离越远；GIOU作为边框评价指标时，边框代价函数如公式(16)所示：

Loss_box＝1-GIOU (16)

步骤(3)：计算整个模型的损失函数如公式(17)所示：

的取值是由网络单元代表的边界框是否负责预测某个对象决定，为参与预测的边界框含有目标的置信度；若边界框不参与目标预测，但是其与真实框的IOU值大于设定的阈值，那么G_ij值为0，其他的情况下，其值为1，表示边界框是否预测对象；

步骤(4)：得到目标的边界框信息，然后通过得到的边界框信息从图像中截取出目标所在的边界框；

四、根据得到的目标所在的边界框对图像进行根据最小二乘拟合插值法优化后的SGBM算法进行立体匹配，包括以下步骤：

①匹配成本计算：根据左右图像中相匹配的同名像素点进行匹配成本函数计算；

②成本合计：设置一个能量函数E(D)来表示像素方向和平滑度约束

其中，C(p，D_p)表示视图上像素点与匹配点的代价函数；T[|D_p-D_q|＝1]和T[|D_p-D_q|＞1]分别为相邻像素点P，q之间的平滑度约束函数；P1和P2分别表示视差差值为1和视差差值大于1的惩罚系数，P1＜P2；

③视差计算：根据相邻像素点P、q进行视差计算，通过为每个像素P选择具有最小成本的视差d来获取相对应的视差图像Db，沿像素q的对极线使用相同的成本计算确定对应的视差图像Dm，比较Db和Dm，检测视差图像遮挡率和错误匹配率，若不满足下式，则视差无效，

D_p＝D_bpif|D_bP-D_mq|＜1

④多基线匹配：通过计算基础图像和匹配图像之间所有对应关系的组合像素匹配成本来完成多基线匹配；

⑤视差优化：可采用峰值滤波消除异常值、选择强度一致的视差和保留不连续性的插值实现视差优化，

采用最小二乘拟合插值方法对每个超像素区域的基本视差图进行优化，基本视差图的优化公式如下：

d＝αx+by+c

式中(a，b，c)为视差平面参数；如果参数(a，b，c)确定，图像平面上的每个坐标点都对应一个视差值；最小二乘法的公式如下：

设：

由上述式子可以推到出：

五、得到图像的类别与图像的位置信息。

2.根据权利要求1所述的运动机器人视觉导航方法，步骤四，基于YOLOv3网络得到的目标所在的边界框进行SGBM立体匹配，其特征在于，代价采用WTA算法计算得到代价最小的视差值，采用优胜者全选方式，选取对应匹配代价最小的视差作为最终的视差d(u)，表达式如下：

其中，表示点u在视差为d时的代价聚合值，d(u)表示立体匹配的最终视差结果，表示取当取得最小值时视差d的值。