[发明专利]基于电磁理论与移动跟踪的力反馈人机交互系统及方法

权利要求书

1.基于电磁理论与移动跟踪的力反馈人机交互系统，其特征在于包括：本地控制计算器、移动跟踪平台、手势识别传感器、磁力产生装置和磁力感受装置；其中，手势识别传感器使用基于双目视觉的红外传感器LeapMotion设备，用于检测并识别手势位姿数据；本地控制计算器则将手势数据转化为操作命令，发送给远端的机器人控制柜，控制机器人工作，并接收返回信息；移动跟踪平台使用6自由度的机械臂，在机械臂的末端上固定磁力产生装置，使磁力产生装置与手部保持相对位置的不变性，将磁场衰减的计算量转化为移动跟踪平台位姿变化量计算，减少控制器的计算负担；磁力产生装置使用电流大小可调的电磁铁作为产生磁力的源，根据机器人的反馈信息，通入电流，产生合适的磁力，来向人传达反馈的信息；磁力感受装置由戴在人手上的手套以及手套上的永磁材料构成，用于向操作者反馈产生的磁力；操作者通过非接触式的手势姿势控制机器人，同时系统通过非接触式力方式将机器人信息反馈给操作者。

2.基于电磁理论与移动跟踪的力反馈人机交互方法，其特征在于利用权利要求1所述的基于电磁理论与移动跟踪的力反馈人机交互系统，交互方法分为控制和反馈两个部分，控制部分使用了基于视觉接口的非接触式手势动作为控制信息，使用基于红外视觉的LeapMotion作为手势识别传感器；反馈部分则使用了非接触式力磁力作为反馈信息，使用了方向可调的移动跟踪平台固定住电流大小可调的电磁铁作为磁力产生装置，来产生大小、方向可调的磁力来反馈机器人信息。

3.根据权利要求2所述的基于电磁理论与移动跟踪的力反馈人机交互方法，其特征在于所述反馈部分包括：收集远方机器人的反馈信息，对该反馈信息进行处理后，计算、并产生出大小、方向合适的磁力作用于操作者的手上，让操作者能感受到力反馈。

4.根据权利要求3所述的基于电磁理论与移动跟踪的力反馈人机交互方法，其特征在于：在操控者与通过手势与机器人交互的过程中，要对人手产生力反馈，首先要确定操控者手的位置与姿态；由于通过LeapMotion获取到的人手数据是相对于LeapMotion坐标系的，而工作在远端环境中机器人位姿数据是建立在环境坐标系中的，因此需要将这些数据统一到一个坐标系中计算；具体包括：

将世界坐标系定义为X_gY_gZ_g，移动跟踪平台基坐标系定义为X_bY_bZ_b；移动跟踪平台末端坐标系定义为X_eY_eZ_e，LeapMotion坐标系定义为X_lY_lZ_l；

移动跟踪平台基坐标系中X_bY_bZ_b的任意点向世界坐标系X_gY_gZ_g中转换的方法如下：

设p为空间中的一个点，p在世界坐标系X_gY_gZ_g下表示为x_gy_gz_g，在移动跟踪平台基坐标系X_bY_bZ_b下表示为x_by_bz_b，则有如下变换关系：

其中，T_b2g＝(T_x,T_y,T_z)表示移动跟踪平台基坐标系中X_bY_bZ_b的原点向世界坐标系X_gY_gZ_g平移的三个方向的平移向量；用R_b2g＝(n,o,a)，n＝(n_x,n_y,n_z)^T，o＝(o_x,o_y,o_z)^T，a＝(a_x,a_y,a_z)^T表示移动跟踪平台基坐标系X_bY_bZ_b的X、Y、Z轴对世界坐标系X_gY_gZ_g中三个方向的余弦；使用转换为齐次方程表示为：

式可以简写为：

p_g＝M_bgp_b (3)

式p_g＝M_bgp_b(3)描述了点p在移动跟踪平台基坐标系X_bY_bZ_b与世界坐标系X_gY_gZ_g之间的变换关系；

同理，可以得到：

p_b＝M_ebp_e (4)

p_e＝M_lep_l (5)

其中，式p_b＝M_ebp_e(4)描述了移动跟踪平台末端坐标系X_eY_eZ_e与移动跟踪平台基坐标系X_bY_bZ_b之间的变换关系；式p_e＝M_lep_l(5)描述了LeapMotionX_lY_lZ_l坐标系与移动跟踪平台末端坐标系X_eY_eZ_e之间的变换关系；

由p_g＝M_bgp_b(3)p_b＝M_ebp_e(4p_e＝M_lep_l(5)可得：

p_g＝M_bgM_ebM_lep_l (6)

公式p_g＝M_bgM_ebM_lep_l(6)描述了从LeapMotion坐标系X_lY_lZ_l到世界坐标系X_gY_gZ_g的变换关系，其中M_bg为移动跟踪平台基坐标系X_bY_bZ_b到世界坐标系X_gY_gZ_g变换矩阵，假设世界坐标系X_gY_gZ_g与移动跟踪平台基坐标系X_bY_bZ_b重合，则有：

M_eb为从移动跟踪平台末端坐标系X_eY_eZ_e到移动跟踪平台基坐标系X_bY_bZ_b变换矩阵；移动跟踪平台采用的是6自由度的机械臂，则有：

M_eb＝M_eb1M_eb2M_eb3M_eb4M_eb5M_eb6 (8)

其中，M_ebi表示移动跟踪平台从第i-1个关节到第i个关节的变换矩阵；θ_i表示在坐标变换时绕Z_i-1旋转的角度，使得X_i-1和X_i相互平行；r_i表示在坐标变换时沿Z_i-1平移的距离，使得X_i-1和X_i共线；l_i表示在坐标变换时X_i-1平移的距离，使得X_i-1和X_i的原点重合；α_i表示在坐标变换时Z_i-1绕X_i旋转的角度，使得Z_i-1和Z_i原点重合，方向一致；

M_le为从LeapMotion的X_lY_lZ_l坐标系到移动跟踪平台末端坐标系X_eY_eZ_e变换矩阵；由于LeapMotion与移动跟踪平台相差了电磁铁的长度和LeapMotion本身的高度，因此：

其中，L为电磁铁的长度，而h为LeapMotion本身的高度；

有了公式p_g＝M_bgM_ebM_lep_l(6)，则能把从LeapMotion坐标系变换到世界坐标系X_gY_gZ_g中进行计算；

手势数据的获取与坐标系的转换具体包括：

从LeapMotion传感器中获取到的手势数据为(x,y,z,θ,α,β)，其中x、y、z分别为手掌在LeapMotion坐标系X_lY_lZ_l中三个方向的位置量；而θ、α、β分别为手掌的手指方向绕Z_l、X_l、Y_l坐标轴旋转的角度；

定义手掌坐标系X_hY_hZ_h，则手掌坐标系与LeapMotion坐标系的变换关系为：

p_l＝M_hlp_h (11)

其中：

因此，通过式p_g＝M_bgM_ebM_lep_l(6)和式p_l＝M_hlp_h(11)，就能把从LeapMotion上获取到的手势数据转换到世界坐标系X_gY_gZ_g下进行计算；同理，只要把远端的机器人的位姿数据也统一到世界坐标系X_gY_gZ_g下，让机器人的位姿数据与操控者手势数据重合，便能达到通过手势操控机器人的目的。