[发明专利]一种基于多模态感知与学习的机器人自主装配方法

说明书

本发明公开了一种基于多模态感知与学习的机器人自主装配方法，所述方法包括：获取机器人可用的感知数据信息，并将所述感知数据信息进行信息融合，得到融合后的多模态信息；将所述融合后的多模态信息输入至深度强化学习算法中进行训练，获取所述机器人的自主装配策略；基于所述机器人的自主装配策略控制所述机器人的动作；基于评估模型判断所述机器人的动作是否成功，进而判断所述机器人是否自主装配完成。在本发明实施中，提高机器人装配策略的鲁棒性和稳定性，提升机器人的自主学习与泛化能力，完成快速而精确的装配任务。

技术领域

本发明涉及机器人自主装配技术领域，尤其涉及一种基于多模态感知与学习的机器人自主装配方法。

背景技术

装配作业是工业机器人领域最重要的挑战之一，因为它具有复杂的环境、多样的对象、复杂的动作类型和灵活性要求，所以装配过程中的不确定性尤其明显。现有的机器人装配作业常见的是依靠教学复制或基于编程的操作来完成一些特定的、简单的装配工作。一些传统的处理不确定性的方法，虽然也能使装配过程更加灵活。例如通过对接触状态的分析，确定了不同的装配阶段，以保证装配的顺利进行，或者通过柔性夹持器或阻抗控制方法实现了装配的一致性。但大多数方法针对已知的接触状态和规则对象，对于复杂的环境、对象，传统的方法并不能做出令人满意的表现。

在传统的机器人装配作业中，机器人获取外界信息方法单一，装配成功率并不是很理想，而且面对装配任务的多样性和非结构化，仍然还有许多问题有待解决，如：感知能力太低、装配环境要求高、装配适应性差、装配效率低下及无法完成复杂环境的复杂装配等。近两年来，基于深度强化学习的装配技术也逐渐被提出来，目前国内外提到的基于深度强化学习的装配方法有的只用到了力/力矩传感器，有的是将视觉传感器和力/力矩传感器一起使用，能够初步达到机器人完成自主装配的目的；但是这样的装配机器人获取外界信息的途径是很狭隘的，缺乏多样性，往往装配成功率也不是很高。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种基于多模态感知与学习的机器人自主装配方法，实现机器人完成自主装配任务。

为了解决上述技术问题，本发明实施例提供了一种基于多模态感知与学习的机器人自主装配方法，所述方法包括：

获取机器人可用的感知数据信息，并将所述感知数据信息进行信息融合，得到融合后的多模态信息；

将所述融合后的多模态信息输入至深度强化学习算法中进行训练，获取所述机器人的自主装配策略；

基于所述机器人的自主装配策略控制所述机器人的动作；

基于评估模型判断所述机器人的动作是否成功，进而判断所述机器人是否自主装配完成。

可选的，所述机器人可用的感知数据信息包括：固定摄像头的RGB图像的感知数据信息、和腕式力-力矩传感器的触觉反馈的感知数据信息、和机器人手臂关节编码器本体感受数据的感知数据信息。

可选的，所述获取固定摄像头的RGB图像的感知数据信息包括：使用6层卷积神经网络进行编码128×128×3RGB图像，并在所述卷积神经网络后增加一个全连接层，得到128-d的特征向量；

所述获取腕式力-力矩传感器的触觉反馈的感知数据信息包括：将6轴力-力矩传感器的最后32个读书作为32×6的时间序列，并用步长2进行5层因果卷积，得到64-d的特征向量；

所述获取机器人手臂关节编码器本体感受数据的感知数据信息包括：通过2层多层感知器对末端执行器的当前位置和速度进行编码，得到32-d的特征向量。

可选的，所述将所述感知数据信息进行信息融合，得到融合后的多模态信息包括：

将所述128-d的特征向量、所述64-d的特征向量、所述32-d的特征向量连接形成一个总的向量；