[发明专利]一种人机协作搬运系统及其混合视触控制方法

权利要求书

1.一种人机协作搬运系统，其特征在于，所述人机协作搬运系统包括协作机器人，所述协作机器人上设置有深度摄像头和六维力/力矩传感器；所述协作机器人、深度摄像头和六维力/力矩传感器分别与控制装置通信连接；

其中，所述协作机器人用于利用机械臂与操作者协作搬运物体；所述六维力/力矩传感器用于获取所述机械臂与当前搬运物体之间的交互力信息；所述深度摄像头用于获取当前搬运物体的图像信息；

所述控制装置用于根据所述交互力信息和图像信息，生成当前搬运物体的期望位置和期望姿态；并基于径向基函数神经网络生成跟踪控制器，以控制协作机器人跟踪所述期望位置和期望姿态，令协作机器人协助操作者搬运物体；

所述深度摄像头设置在所述协作机器人的头部，所述六维力/力矩传感器设置在所述协作机器人的腕关节处；所述控制装置包括第一计算机和第二计算机；所述深度摄像头与所述第一计算机通信连接；所述协作机器人和所述六维力/力矩传感器分别与所述第二计算机通信连接；所述第一计算机和所述第二计算机通信连接；

所述第二计算机用于根据所述交互力信息，基于预设导纳模型，使用导纳控制生成当前搬运物体在选定坐标系的X轴和Y轴方向的期望坐标；

所述第一计算机用于根据所述图像信息，获取当前搬运物体上预设参照点的位置信息，并根据所述预设参照点的位置信息，利用视觉伺服控制生成当前搬运物体的期望姿态和当前搬运物体在所述选定坐标系的Z轴方向的期望坐标，并结合当前搬运物体在选定坐标系的X轴和Y轴方向的期望坐标，得到当前搬运物体在选定坐标系中的期望位置；

所述第二计算机还用于基于径向基函数神经网络生成跟踪控制器，以控制协作机器人跟踪所述期望位置和期望姿态，令协作机器人协助操作者搬运物体；

所述第二计算机中加载的导纳模型的表现形式如下：

其中，p、分别表示所述协作机器人当前的位置、速度和加速度；p_d、分别表示想要得到的期望位置、速度和加速度；f_e表示所述机械臂与当前搬运物体之间的交互力；I、D、K为所述导纳模型的预设参数，分别表示所述导纳模型的惯性参数、阻尼参数和刚度参数；

所述第一计算机具体用于：

通过所述深度摄像头获取当前搬运物体的彩色图像信息和深度图像信息；

将所述彩色图像信息和深度图像信息进行像素点映射，保证每个彩色像素点对应到其在深度图像上的信息，得到相应像素点在图片坐标系下的坐标位置；

通过图片坐标系与选定坐标系之间的映射与转换，得到彩色图像上任意一个像素点在所述选定坐标系下的位置信息；

根据所述预设参照点在所述选定坐标系下的位置信息，生成当前搬运物体的期望姿态和当前搬运物体在所述选定坐标系的Z轴方向的期望坐标，如下：

其中，φ_yd表示相对于初始平衡位置应该调整的当前搬运物体绕所述选定坐标系的Y轴旋转的角度；z_d表示相对于初始平衡位置应该调整的当前搬运物体在所述选定坐标系的Z轴方向的坐标；k_px、k_dx、k_py、k_dy为预设控制参数；x_b、y_b分别为所述预设参照点在所述选定坐标系的X轴和Y轴上的坐标；x_c、y_c分别为当前搬运物体的中心在所述选定坐标系的X轴和Y轴上的坐标；

基于径向基函数神经网络生成的跟踪控制器的表现形式如下：

其中，f为对所述机械臂输入的控制力；z₁＝r₁-p_d，r₁＝p，p为所述协作机器人当前的位置，p_d为所述协作机器人的期望位置；K₂为控制增益矩阵；z₂＝r₂-α，为所述协作机器人当前的速度，α为虚拟控制量；为径向基函数神经网络；f_e为所述机械臂与当前搬运物体之间的交互力。

2.一种人机协作搬运系统混合视触控制方法，其特征在于，包括：

获取协作机器人的机械臂与当前搬运物体之间的交互力信息和当前搬运物体的图像信息；其中，所述图像信息包括彩色图像信息和深度图像信息；

根据交互力信息和图像信息，生成当前搬运物体的期望位置和期望姿态；

基于径向基函数神经网络生成跟踪控制器，以控制所述协作机器人跟踪所述期望位置和期望姿态，令所述协作机器人协助操作者搬运物体；

所述生成当前搬运物体的期望位置和期望姿态，包括：

根据所述交互力信息，基于预设导纳模型，使用导纳控制生成当前搬运物体在选定坐标系的X轴和Y轴方向的期望坐标；其中，所述导纳模型如下：

其中，p、分别表示所述协作机器人当前的位置、速度和加速度；p_d、分别表示想要得到的期望位置、速度和加速度；f_e表示所述机械臂与当前搬运物体之间的交互力；I、D、K为所述导纳模型的预设参数，分别表示所述导纳模型的惯性参数、阻尼参数和刚度参数；

所述生成当前搬运物体的期望位置和期望姿态，还包括：

将所述彩色图像信息和深度图像信息进行像素点映射，保证每个彩色像素点对应到其在深度图像上的信息，得到相应像素点在图片坐标系下的坐标位置；

通过图片坐标系与选定坐标系之间的映射与转换，得到彩色图像上任意一个像素点在所述选定坐标系下的位置信息；

根据所述预设参照点在所述选定坐标系下的位置信息，生成当前搬运物体的期望姿态和当前搬运物体在所述选定坐标系的Z轴方向的期望坐标，如下：

其中，φ_yd表示相对于初始平衡位置应该调整的当前搬运物体绕所述选定坐标系的Y轴旋转的角度；z_d表示相对于初始平衡位置应该调整的当前搬运物体在所述选定坐标系的Z轴方向的坐标；k_px、k_dx、k_py、k_dy为预设控制参数；x_b、y_b分别为所述预设参照点在所述选定坐标系的X轴和Y轴上的坐标；x_c、y_c分别为当前搬运物体的中心在所述选定坐标系的X轴和Y轴上的坐标；

结合当前搬运物体在所述选定坐标系的X轴和Y轴方向的期望坐标，得到当前搬运物体在选定坐标系中的期望位置；

基于径向基函数神经网络生成的跟踪控制器的表现形式如下：

其中，f为对所述机械臂输入的控制力；z₁＝r₁-p_d，r₁＝p，p为所述协作机器人当前的位置，p_d为所述协作机器人的期望位置；K₂为控制增益矩阵；z₂＝r₂-α，为所述协作机器人当前的速度，α为虚拟控制量；为径向基函数神经网络；f_e为所述机械臂与当前搬运物体之间的交互力。