[发明专利]基于第三视角可变主体演示视频的机械臂模仿学习方法

权利要求书

1.一种基于第三视角可变主体演示视频的机械臂模仿学习方法，其特征在于，所述的模仿学习方法包括：

步骤1：从演示视频中获取演示样本τ_c，并定义演示视频视角为第三视角；

演示视频的获取方法为：

通过摄像设备拍摄演示主体的动作演示作为专家示范视频，拍摄角度固定并且与第一视角不在同一角度；

步骤2：获取机械臂实时状态图像，记录当前控制策略π_θ执行过程中的观察图像序列，获得观察图像序列样本并定义该图像视角为第一视角；

步骤3：对演示样本τ_c进行从第三视角到第一视角的转换；

步骤4：通过主体对齐网络分别对视角后转换后的演示样本τ_c和观察图像序列样本进行特征编码，获得示范主体特征向量和对应姿态下机械臂的特征向量，并对示范主体特征向量和对应姿态下机械臂的特征向量进行对齐操作；

步骤5：通过演示样本τ_c中下一帧图像的特征向量来预测机械臂下一帧图像的特征向量；

步骤6：搭建机械臂逆动力学运动控制网络，将机械臂相邻帧的图像输入到控制网络中，输出机械臂的控制信号；

步骤7：返回步骤1，重复执行上述步骤，直至机械臂完成演示视频中的所有动作，完成机械臂的模仿学习。

2.根据权利要求1所述的一种基于第三视角可变主体演示视频的机械臂模仿学习方法，其特征在于，所述的机械臂实时状态图像的获取方法为：

通过固定在机械臂正前方的摄像设备获取机械臂的位置与姿态的实时图像。

3.根据权利要求1所述的一种基于第三视角可变主体演示视频的机械臂模仿学习方法，其特征在于，所述的步骤3具体为：

输入第一视角和第三视角下相同主体的图像，基于SIFT算法，即尺度不变特征变换匹配算法对处于相同状态下的演示主体第一视角与第三视角图像进行特征点提取与匹配，通过特征点计算两个视角下图像特征点的变换矩阵，通过对演示样本图像序列的仿射变换，实现演示样本图像序列从第三视角到第一视角的视角转换。

4.根据权利要求1所述的一种基于第三视角可变主体演示视频的机械臂模仿学习方法，其特征在于，所述的主体对齐网络包括两个特征编码子网络；

所述的特征编码子网络具体为一个下采样的深度神经网络，由一个输入层、一个特征提取器F、一个编码器E以及两个全连接层组成。

5.根据权利要求4所述的一种基于第三视角可变主体演示视频的机械臂模仿学习方法，其特征在于，所述的两个特征编码子网络的输入分别为来自演示样本τ_c与观察图像序列样本的图像；

所述的输入层对输入的图像进行差分运算，提取出图像中主体的信息；

所述的特征提取器F由三个卷积层和三个池化层构成，用于初步的图像处理，提取出图像的特征图σ；

所述的编码器E将提取到的特征图编码，得到一维的特征编码z；

将特征编码z输入全连接层，输出为对齐操作后的特征向量通过使演示样本与机械臂样本提取到的特征向量相一致，完成主体对齐。

6.根据权利要求1所述的一种基于第三视角可变主体演示视频的机械臂模仿学习方法，其特征在于，所述的机械臂逆动力学运动控制网络包括两个全连接层；所述的两个全连接层依次相连。

7.根据权利要求6所述的一种基于第三视角可变主体演示视频的机械臂模仿学习方法，其特征在于，所述的机械臂逆动力学运动控制网络的输入为机械臂当前帧图像特征向量和机械臂下一帧图像特征向量，输出为14维的机械臂控制向量[θ₁,θ₂...,θ₁₄]，实现机械臂的动作控制。

8.根据权利要求7所述的一种基于第三视角可变主体演示视频的机械臂模仿学习方法，其特征在于，所述的机械臂下一帧图像特征向量的获取方法为：

根据主体对齐网络提取得到演示视频主体特征编码向量将演示视频中下一帧特征编码向量作为机械臂下一帧图像的特征编码向量。