[发明专利]一种基于视频输入的实时手语动作迁移方法及装置

权利要求书

1.一种基于视频输入的实时手语动作迁移方法，其特征在于

获取RGB视频，通过人体位姿估计算法获得关节位置和姿态数据；

使用滤波、缩放、旋转、统一坐标系进行预处理得到关节数据；

获取关节数据通过编码器得到动作特征；

获取动作特征通过解码器得到机器人关节角数据；

获取关节角数据通过正运动学解算关节位置，并实时发送至机器人执行动作；

所述的编码器和解码器都是图神经网络。

2.如权利要求1所述的手语动作迁移方法，其特征在于，所述的人体位姿估计算法是从RGB视频中实时估计人体手臂和手指的关节位置和姿态数据。

3.如权利要求1所述的手语动作迁移方法，其特征在于，所述的图神经网络通过损失函数进行训练，损失函数用于鼓励机器人运动尽可能与人类的演示相似和平滑，并且不发生碰撞，并由六项组成：末端损失L_ee、朝向损失L_ori、肘部损失L_elb、手指损失L_fin、碰撞损失L_col和平滑性损失L_smo，其中λ_ee、λ_ori、λ_elb、λ_fin、λ_col和λ_smo是它们各自的权重；

L＝λ_eeL_ee+λ_oriL_ori+λ_elbL_elb+λ_finL_fin+λ_colL_col+λ_smoL_smo

末端损失L_ee鼓励机器人与人类演示的末端位置相匹配，并比较归一化的末端位置的差异，使用均方误差，归一化系数是从肩部到手腕的长度，设p_j和l_j为末端j的位置和归一化系数，和为人类演示的相应变量，L_ee被定义为：

朝向损失L_ori是通过比较末端的朝向差异来计算的，同时也使用均方损失，设R_j和分别为机器人和人类的末端的旋转矩阵，L_ori被定义为：

肘部损失L_elb鼓励其它关节的运动与人类演示相似，是通过比较从肘部到手腕的归一化向量来计算的，归一化系数是从肘部到腕部的长度，设和l_we为机器人手臂j的手腕位置、肘部位置和归一化系数，而和为人类演示的相应变量，L_elb的计算方法是：

手指损失L_fin鼓励机器人与人类的手指运动相匹配，手指动作是手语的一个重要组成部分，比较了从掌指关节到指尖的向量，通过手指长度归一化，设和l_tm为指尖位置、掌指关节位置和机器人手指j的归一化系数，而和为人类演示的相应变量，L_fin的定义为：

碰撞损失L_col是用来惩罚发生碰撞的机器人运动，将机器人每个关节建模为胶囊，并计算胶囊对之间的距离，若这个距离小于不发生碰撞的最小距离，则计算损失，设d_i，j为胶囊i和胶囊j之间的距离，d_min为无碰撞的阈值，L_col被定义为：

平滑性损失L_smo用于鼓励机器人生成连续平滑的动作，若r_t为第t帧的机器人关节角，r_t+1为第t+1帧的机器人关节角，如果相邻两帧的关节角相差很大就进行惩罚，那么L_smo的定义为：

4.如权利要求1所述的手语动作迁移方法，其特征在于，所述的图神经网络训练完成后加载训练好的模型参数，直接通过前向传播输出机器人可执行的关节角，能够保证手语动作迁移的实时性，所述的图神经网络能够同时对双臂和双手进行实时动作迁移，并使用不同的网络权重参数。