[发明专利]一种基于模糊SARSA学习的旋翼无人机视觉伺服控制方法

摘要

本发明公开了一种基于模糊SARSA学习的旋翼无人机视觉伺服控制方法；旋翼无人机通过摄像头采集图像信息，基于费尔曼链码的目标轮廓提取算法提取出目标的轮廓特征，并对在图像采集过程中目标的边缘信息进行轮廓补偿；利用强化学习算法对视觉伺服的参数伺服增益参数进行训练，使旋翼无人机获得自适应调节伺服增益能力，同时结合模糊控制的方法调节学习率。使用强化学习使旋翼无人机在不同的情景下通过训练获得经验，能自行改变增益，同时通过模糊控制可为强化学习的学习率记忆调节，获得较快的收敛速度。使用基于费尔曼链码的目标轮廓提取算法，有效地减少提取算法提取中心特征点与实际中心特征点的误差，提高特征提取的精确度。

主权项

1.一种基于模糊SARSA学习的旋翼无人机视觉伺服控制方法，其特征在于包括以下步骤:步骤1.利用Canny算法对比图像进行边缘提取，通过过滤、降噪操作可获得N个轮廓坐标的集合，N个轮廓坐标的集合使用费尔曼链码来描述，使用费尔曼链码的轮廓像素记为C＝{Ci|i＝1,...,N}；将目标的轮廓像素进行旋转归一化得到费尔曼链码与标准轮廓库中的图形分别计算lenvenshtein距离，lenvenshtein距离的计算方式是形状A变换到形状B所需要的操作数，操作为插入、删除、修改；使用该方法可在图像目标丢失一定程度的边缘的条件下对物体形状进行识别；步骤2.在通过步骤1获取图像的轮廓像素之后，由于拍摄到的图片有时会有轮廓不完整现象，因此，该系统使用轮廓补偿算法，费尔曼链码经过一次处理得到:标准轮廓库中的轮廓为记被识别目标的轮廓使用费尔曼链码表示为X＝{X_k|k＝1,...,q},其中R＝(H^*)+H,L＝X‑X^*(H^*)+H；对于一个目标定义标准旋转轮廓:D_l与补偿轮廓O_l之间的关系为:D_l·R+L＝O_l，记O_l＝{P_j|j＝1,...,N_standard}，可得到l当前坐标为:步骤3.在通过步骤2获得目标的中心特征点之后，建立旋翼无人机底部视觉模型，即从三维空间到图像像素平面的转换关系；步骤4.通过所得到的旋翼无人机视觉模型，计算出旋翼无人机解耦的视觉伺服控制模型；步骤5.建立单步SARSA学习调节伺服增益模型；使用SARSA学习调节步骤4获得的旋翼无人机视觉伺服增益值；1)状态空间设置；通过图像特征提取算法提取出目标的轮廓后，采用中心特征点将目标简化，计算出当前特征点与目标特征点的误差的绝对值，将绝对值求和取定一定的范围作为状态；2)动作空间设置；通过分析选择伺服增益的差值作为动作，选择初始值λ*作为伺服增益的初始值；设动作集的大小为2*na+1，则动作集构成一个等差数列，设定公差为da，则动作集A＝{ai|i＝1,2,3...，2na}，然后分别在线速度与角速度调节伺服增益；3)奖励函数设置；奖励函数分为三部分:到达期望目标，追踪目标丢失和其它情况；如果每一维特征误差δ为阈值，那么就认为四旋翼无人机已经到达目标位置，可给予最高的奖励；如果在四旋翼无人机所拍摄的实时图像通过特征提取后,特征点相比于目标图像的特征点有缺失，那么就认为无人机已经丢失目标，则回报值会为负值；其它情况依据四旋翼无人机距离目标的远近来给予奖励；步骤6.模糊控制规则:在通过步骤5建立SARSA学习调节视觉伺服增益模型后，使用模糊控制来进行学习率的自适应调节，学习率自适应调节的基本规则如下:如果智能体在采取学习后的增益使得特征误差增大，则减少学习率，反之将学习率增大；使用模糊控制改变强化学习的学习率，将特征误差的变化率作为观察量，将观察量进行模糊化，设置“最大‑最小合成操作”的模糊控制规则，将观察量输入到模糊控制规则中，得到控制量学习率，最后通过去模糊化可得到学习率。