[发明专利]一种基于多模态感知与学习的机器人自主装配方法

权利要求书

1.一种基于多模态感知与学习的机器人自主装配方法，其特征在于，所述方法包括：

获取机器人可用的感知数据信息，并将所述感知数据信息进行信息融合，得到融合后的多模态信息；

将所述融合后的多模态信息输入至深度强化学习算法中进行训练，获取所述机器人的自主装配策略；

基于所述机器人的自主装配策略控制所述机器人的动作；

基于评估模型判断所述机器人的动作是否成功，进而判断所述机器人是否自主装配完成。

2.根据权利要求1所述的一种基于多模态感知与学习的机器人自主装配方法，其特征在于，所述机器人可用的感知数据信息包括：固定摄像头的RGB图像的感知数据信息、和腕式力-力矩传感器的触觉反馈的感知数据信息、和机器人手臂关节编码器本体感受数据的感知数据信息。

3.根据权利要求2所述的一种基于多模态感知与学习的机器人自主装配方法，其特征在于，所述获取固定摄像头的RGB图像的感知数据信息包括：使用6层卷积神经网络进行编码128×128×3RGB图像，并在所述卷积神经网络后增加一个全连接层，得到128-d的特征向量；

所述获取腕式力-力矩传感器的触觉反馈的感知数据信息包括：将6轴力-力矩传感器的最后32个读书作为32×6的时间序列，并用步长2进行5层因果卷积，得到64-d的特征向量；

所述获取机器人手臂关节编码器本体感受数据的感知数据信息包括：通过2层多层感知器对末端执行器的当前位置和速度进行编码，得到32-d的特征向量。

4.根据权利要求1所述的一种基于多模态感知与学习的机器人自主装配方法，其特征在于，所述将所述感知数据信息进行信息融合，得到融合后的多模态信息包括：

将所述128-d的特征向量、所述64-d的特征向量、所述32-d的特征向量连接形成一个总的向量；

基于所述总的向量，通过多模态融合模块得到最终多模态信息，用128-d多模态表示。

5.根据权利要求4所述的一种基于多模态感知与学习的机器人自主装配方法，其特征在于，所述128-d多模态表示还与动作编码器对所述机器人的运动做出估计，并判断所述机器人是否与装配物体进行了接触；其中，包括：

基于流预测器采用带上采样的6层卷积解码器，生成128×128×2的流量图；

基于接触预测器执行二进制分类，判断所述机器人是否与装配物进行了接触；

基于对齐预测器采用将低维表示作为输入，并对所述输入是否对齐进行二分类，判断传感器输入是否为时间对齐。

6.根据权利要求1所述的一种基于多模态感知与学习的机器人自主装配方法，其特征在于，所述深度强化学习算法是基于深度确定性策略梯度算法，包括动作网络和评价网络。

7.根据权利要求6所述的一种基于多模态感知与学习的机器人自主装配方法，其特征在于，所述动作网络用于策略网络来更新策略。

8.根据权利要求6所述的一种基于多模态感知与学习的机器人自主装配方法，其特征在于，所述评价网络用于实现逼近函数，并得到梯度信息。

9.根据权利要求6所述的一种基于多模态感知与学习的机器人自主装配方法，其特征在于，所述动作网络和所述评价网络前两层采用全连接网络层，最后一层采用Dropout层。

10.根据权利要求1所述的一种基于多模态感知与学习的机器人自主装配方法，其特征在于，所述基于评估模型判断所述机器人的动作是否成功，进而判断所述机器人是否自主装配完成包括：

基于评估模型判断所述机器人的动作是否成功；

若所述机器人的动作成功，则所述机器人自主装配完成；

若所述机器人的动作不成功，则返回至所述获取机器人可用的感知数据信息，并将所述感知数据信息进行信息融合，得到融合后的多模态信息。