[发明专利]基于多特征时空上下文机器人目标识别与运动决策方法

摘要

基于多特征时空上下文机器人目标识别与运动决策方法，属于机器人领域。本方法先利用图像的颜色和纹理特征对图像进行分块聚类，完成第一帧目标的时空上下文模型的初始化，并构造目标块的稀疏表示方程。然后以聚类块为基本单位，将聚类过程中的聚类置信值与上下文特征相结合建立以图像块为基本单位的置信图。最后，置信图似然概率最大处即为预测的下一帧的目标位置。与以前的方法相比，本发明加强了目标的特征描述，提高了目标在复杂背景下的鲁棒性，另外，提出加入分块聚类的思想保证了算法的实时性。在算法完成目标的识别跟踪后，以跟踪结果作为机器人运动决策的根据，完成机器人对目标的识别跟踪。

主权项

1.基于多特征时空上下文机器人目标识别与运动决策方法，其特征在于：首先，进行场景图像分割，采用简单线性迭代聚类算法，利用图像的颜色、纹理和距离信息对像素进行聚类形成图像块，然后对各图像块赋予不同的权重进行筛选，得到图像块的稀疏表示方程，至此就完成了图像的分割与筛选；图片分割后下面以分割得到的图像块为基本单位建立时空上下文模型，在当前帧目标位置已知的情况下即第一帧由人工指定，先获得图像块的上下文先验模型，然后基于贝叶斯框架下由目标位置置信图与图像块的上下文先验模型得到当前帧图像的空间上下文模型，然后进行空间上下文更新得到下一帧图像的时空上下文模型，并进行尺度参数的更新；得到下一帧的时空上下文模型后，在处理下一帧时由其图像块的上下文先验模型和时空上下文模型得到目标位置的置信图，置信图概率最大处即认为是目标的中心位置，目标的跟踪也就完成了；得到目标位置后又对其时空上下文模型进行更新，以此循环达到实时跟踪目标的目的；最后在跟踪得到目标的位置后，根据目标的位置进行机器人的运动决策，实现机器人对目标的识别跟踪；具体包括以下步骤：步骤1，场景图像分割利用图像的颜色、纹理和距离相似性特征对像素进行聚类，采用Lab颜色空间的三维颜色信息和位置信息，引入局部熵来表示像素的特征，形成紧凑性好、边界贴合度高、形状规则的图像分块，实现对像素的聚类；步骤1.1，获取局部熵局部熵h_i由公式(1)近似表示：其中p_i表示当前像素i占局部像素总个数的概率；步骤1.2，对像素进行聚类设定i从初始聚类中心C_k＝[a_k,b_k,h_k,x_k,y_k]开始采样，为降低种子像素错误设定的可能性以及边缘噪声干扰，将聚类中心限定在最低梯度量为3x3的邻域，每个像素与最近邻聚类中心距离D_i进行聚类，如公式(2)：其中a_k,b_k为像素点k的Lab颜色空间[L_k,a_k,b_k]的色彩分量，h_i为式(1)所求的局部熵，[x_i,y_i]为像素i的横纵坐标，μ是权重经验参数，这里取μ＝0.4；步骤1.3，更新聚类中心一旦像素聚类至最临近中心像素，则更新聚类中心Φ_k代替聚类区域内的所有像素的平均向量：其中，Z_i表示以Φ_k为中心的聚类区域，N表示区域内所包含的像素个数，C_i表示聚类中心，S_i为二维空间位置；步骤2，基于稀疏表示的图像块筛选引入稀疏表示对各分块赋予不同的权重，并对最近邻区域进行筛选后作为目标上下文区域块，能够更好的应对目标遮挡的情况以及提高实时性；步骤2.1，建立图像块稀疏方程，并赋权重对于第n个分块y_n，带权重的稀疏表示方程为：其中，聚类中心距离D_n由公式(2)计算，S_n为二维空间位置；A_n表示第n块的稀疏系数向量，W_n是稀疏权重系数，是上下文区域中不同分块稀疏系数的均值，η、μ均为正数常量，用于规范相似性约束对稀疏表示的影响；步骤2.2，求解稀疏方程求解稀疏方程即为A_n和W_n是一个最优化问题，用迭代法进行求解；主要思想是假设W_n为固定值，更新A_n的值，然后以计算出的A_n值为固定值，再求解W_n，不断重复，直至A_n和W_n收敛至局部最小或达到迭代次数终止值；假设所有分块的权重W₁,W₂,…,W_m均为已知，由公式(4)可得稀疏系数：其中，P_n＝(D^TD+Λ(ηW_n))^‑1，M_n＝P_nD_n^Ty_n，D＝Φ_k，Λ为单位对角阵；由上式得到分块y_n的稀疏系数向量A_n后，权重由下式获得：可得：其中，L为拉格朗日乘子，迭代次数限制设为t_max，采用迭代法求解第n个分块的稀疏系数A_n和权重W_n的步骤总结如下：输入：(1)D_i,(2)y_i1)初始化，W_n＝1，n＝1,2,…,m；2)当且t≤t_max；3)由公式(5)计算A_n；4)由公式(7)计算W_n；5)结束；输出：(1)A_n，(2)W_n；步骤3，建立时空上下文模型在步骤2中以完成了图像的分割和稀疏化筛选，得到了以图象块为基本单位的稀疏图像，下面将在已知当前帧即第t帧即目标位置的情况下即第一帧直接指定，建立基于图像块的上下文模型，为下一帧即第t+1帧进行目标跟踪做准备；步骤3.1，建立目标区域聚类中心的上下文特征假设目标的上下文区域被分割成M_c个块，用R_t(d)表示第t帧中目标上下文区域的第d个图像块，其聚类中心位置设为CR(d)，视觉特征改用f_t^d(x_n)表示，聚类中心的上下文特征的定义式如下：x^ctx＝{ctx(CR(d))}＝(f_t^d(x_n)，(CR(d)),d＝1,...,M_c                 (8)步骤3.2，建立图像块的上下文先验模型通过对图像块的视觉特征进行加权，建立基于图像块的上下文先验模型：P(ctx(CR(d))|O)＝f_t^d(x_n)w_σ(CR(d)‑x_n)W_n              (9)其中，w_σ为视觉注意机制的权重函数，权重函数w_σ是基于图像块的聚类中心到目标中心位置的距离确定的，距离目标的当前位置越近的图像块则赋予较大权重，其上下文信息对下一帧目标位置的预测更重要；步骤3.3，获得基于图像分块的空间上下文模型现在以得到当前帧即第t帧的目标位置置信图与上下文先验模型，由贝叶斯框架可得当前帧的空间上下文模型，为提高计算时间，进行FFT运算加速，则第t帧的基于图像块的空间上下文模型为：其中F‑¹()表示傅里叶反变换，F()表示傅里叶变换；步骤3.4，时空上下文更新对空间上下文进行加权累计，得到用于下一帧即第t+1帧进行目标跟踪的时空上下文模型：其中，ρ是更新参数；对第一帧图像而言，其空间上下文模型即为时空上下文模型；步骤4，目标跟踪步骤4.1，建立置信图对由前一帧即第t帧得到时空上下文模型对下一帧即第t+1帧进行目标检测跟踪，首先先获取此帧即第t+1帧的上下文先验模型，如式(9)，然后由时空上下文模型和当前帧即第t+1帧的上下文先验模型建立第t+1帧的基于图像块的置信图，如下式：步骤4.2，跟踪目标所在位置置信图计算的是目标出现在各个聚类中心的概率值，所以置信图概率最大处即认为是目标所在的位置，即：步骤4.3，尺度更新目标的外形、尺寸总是在变化的，所以为了提高鲁棒性尺度参数σ也要随之更新，更新公式如下：其中，表示目标位置，σ_t+1表示更新后的尺度参数；步骤5，机器人运动决策本方法的硬件平台是搭载kinect的机器人移动平台，由kinect上的摄像头采集用于目标检测的场景图；为使机器人能连续稳定的跟随目标，使用基于模糊控制规则的智能调速算法，控制机器人的左、右轮速度；根据机器人运动模型，机器人以线速度v行进时，它的左右轮速度被分别计算如下:其中，K为转向增益，2d为机器人两轮间距；步骤5.1，确定隶属度函数、模糊集进行模糊化直线函数能快速调整较大的人机距离与人机距离变化率，曲线型函数变化平滑，有利于控制的平稳性；当人机距离和人机距离变化率较大时，采用三角形隶属函数；当人机距离在安全范围内时，采用高斯型隶属函数；模糊化的作用是将输入的精确量转化成模糊化量，取X_r的模糊子集，在其论域中均划分为5个集合：“最近VN”、“近N”、“正常ZE”、“远F”、“最远VF”；取v_px的模糊子集，在其论域中均划分为5个集合：“负大NB”、“负小NS”、“正常ZE”、“正小PS”、“正大PB”；取v_base的模糊子集，在其论域中均划分为5个集合：“很小VL”、“小L”、“中M”、“大H”、“很大VH”；取Y_r、v_py的模糊子集，在其论域中均划分为5个集合：“负大NB”、“负小NS”、“正常ZE”、“正小PS”、“正大PB”；取K'的模糊子集，在其论域中均划分为5个集合：“很小VL”、“小L”、“中M”、“大H”、“很大VH”；通过试验得到参数的有效论域：X_r∈[0,3]，v_px∈[‑1,1]，v_base∈[0,200]，Y_r∈[‑1,1]，v_py∈[‑1,1]，K'∈[0,3]；步骤5.2，建立控制规则R_1i：如果Q₁＝A_i并且Q₂＝B_i，那么v_base＝C_i`；R<sub>2i</sub>：如果Q<sub>3</sub>＝D<sub>i</sub>并且Q<sub>4</sub>＝E<sub>i</sub>，那么K'＝F<sub>i</sub>；R<sub>1i</sub>为基准线速度模糊控制器控制规则，Q<sub>1</sub>表示人机垂直距离语言变量，Q<sub>2</sub>表示人机垂直距离变化率语言变量；Q<sub>3</sub>表示人机水平距离语言变量，Q<sub>4</sub>表示人机水平距离变化率语言变量，v<sub>base</sub>和K'分别表示基准线速度和转弯增益语言变量；它们的语言值在相应论域中的模糊子集分别为A<sub>i</sub>、B<sub>i</sub>、C<sub>i</sub>`、D_i、E_i、F_i；根据基准线速度模糊控制器调整机器人线速度，当人机垂直距离大于安全距离，为快速跟随目标，系统将增大机器人运动线速度；当人机垂直距离小于安全距离，减小线速度以保证人机之间的安全距离；当人机垂直距离过小，机器人停止运动以防人机碰撞；根据转弯增益模糊控制器调整转向增益，当人机水平距离过大时，转向增益增大，转弯半径减小，机器人行进过程中快速调整转向以保证目标在视野中心位置；步骤5.3解模糊经过逻辑判断，利用重心法解模糊化；对于由规则描述的模糊控制系统的稳定性问题，根据模糊集理论，通过关系矩阵来分析其稳定性；到这一步一个算法周期已经完成，得到第t+1帧的目标位置后，重复步骤4和步骤5，更新第t+1帧的空间上下文模型和时空上下文模型，为下一帧即第t+2帧的目标更新做准备，并根据跟踪的结果进行机器人控制，由机器人采集下一帧即第t+2帧的场景图像继续进行目标更新，不断循环实现实时的目标跟踪。