[发明专利]基于专家演示和强化学习的微零件装配方法

权利要求书

1.一种基于专家演示和强化学习的微零件装配方法，其特征在于，该方法包括：

步骤S10，采集微零件a和微零件b的图像，并通过基于图像雅可比矩阵的视觉伺服控制方法进行所述微零件b的姿态调整和所述微零件a的位置调整，使所述微零件a与所述微零件b的三维姿态一致且位于所述微零件b的正上方；

步骤S20，实时获取微零件a和微零件b之间的三维力信息；

步骤S30，通过微零件装配模型进行所述微零件a的位置调整，使所述微零件a和微零件b的三维位置达到期望状态，完成微零件装配；

其中，所述微零件装配模型通过基于专家演示和强化学习的微零件装配方法进行训练，其方法为：

步骤A10，构建强化学习的模糊回报函数和混合探索方法，并构建强化学习中用于逼近动作值函数的评估网络和用于输出动作的策略网络；

步骤A20，基于获取的专家演示数据通过状态转移模型进行数据增强，并以数据增强后的预训练样本结合所述模糊回报函数和混合探索方法，进行所述评估网络和策略网络的预训练；

步骤A30，基于所述模糊回报函数和混合探索方法，进行预训练后的评估网络和策略网络自学习，获得训练好的微零件装配模型。

2.根据权利要求1所述的基于专家演示和强化学习的微零件装配方法，其特征在于，所述专家演示数据，其获取方法为：

步骤B10，定义装配过程中专家每次控制第二执行机构平移一次的动作a＝[d_x，d_y，d_z]^T以及装配系统状态信息s＝[f_x，f_y，f_z，p_z]^T；

其中，d_x，d_y分别为沿第二执行机构X_E，Y_E轴的调整量，d_z＞0为沿第二执行机构Z_E轴负方向的装配步长，f_x，f_y，f_z分别代表三维力信息中沿力传感器的X_F，Y_F，Z_F轴的接触力，p_z为沿第二执行机构Z_E轴的装配深度；

步骤B20，执行一次动作a，获取执行后的装配系统状态信息s以及动作执行后的回报r；

步骤B30，判断当前时刻s是否为装配结束状态，若不是，则跳转步骤B20；否则，结束装配过程；

步骤B40，将所述装配过程中获取的数据构建为数据组(s_i，a_i，r_i，s_i+1)，获得专家演示数据；

其中，s_i代表当前动作a_i执行前的装配系统状态信息，r_i代表当前动作a_i执行后获得的回报，s_i+1代表当前动作a_i执行后的装配系统状态信息。

3.根据权利要求2所述的基于专家演示和强化学习的微零件装配方法，其特征在于，所述状态转移模型，其训练方法为：

步骤C10，基于非线性微分方程构建状态转移模型：

s_t+1＝s_t+Ka_t+N(0，∑)

其中，s_t+1为t时刻装配系统状态信息s_t在执行动作a_t后获得的t+1时刻装配系统状态信息，K为比例系数矩阵，N(·，·)为表示状态转移中的不确定性的高斯函数，∑代表方差矩阵；

步骤C20，基于专家演示数据，通过最小二乘法进行比例系数矩阵K和方差矩阵∑的离线学习，获得训练好的状态转移模型。

4.根据权利要求1所述的基于专家演示和强化学习的微零件装配方法，其特征在于，所述数据增强，其公式表示为：

其中，构成数据增强后的训练数据，和分别代表数据增强的状态和动作的方差，为限制增强后的动作幅值的限幅函数，r(·)为模糊回报函数。