[发明专利]面向人机协作的机器人自主学习方法

说明书

本发明提供面向人机协作的机器人自主学习方法，包括面向人机协作的目标理解方法和任务学习算法，它允许机器人能快速地在人类辅助下认知目标和通过模仿人类动作达到快速掌握新技能的目的。包括步骤：(1)在目标理解层面设计面向人机协作的深度学习方法引入人的经验知识；(2)在任务学习层面引入人类的评价和反馈优化强化学习算法。本发明结合人类的实时反馈和教导，使得机器人能有效地进行自学习和在线学习。

技术领域

本发明属于机器人运动领域，特别涉及一种面向人机协作的机器人自主学习方法。

背景技术

面向人机协作的机器人自主学习需要探讨如何结合人类的实时反馈和教导，使得机器人能有效地进行自学习和在线学习。一方面，机器人的传感能力有限，单靠传感数据不足以推断环境状态，以及作业的最佳策略。由于机器人的信息具有不完整性，完全自主学习往往会出现“维数灾难”问题，在学习过程中如何利用人类伙伴的信息更好地了解环境，并做出更优的决策是值得研究的问题。另一方面，类似于师傅带徒弟的人机协作模式需要平衡机器人在探索和被教导之间的关系。过多的探索可能影响系统的性能，但可以提高学习的效率；反之，则影响学习的效果。探索和教导如何有效地均衡结合，如何根据实际环境动态地进行调整，从而更灵活地解决单纯依靠人或机器人无法解决的问题，都是值得探讨的问题。

发明内容

本发明的目的在于克服现有技术存在的上述不足，提出了面向人机协作的机器人自主学习方法，包括面向人机协作的目标理解方法和任务学习算法，它允许机器人能快速地在人类辅助下认知目标和通过模仿人类动作达到快速掌握新技能的目的。

面向人机协作的机器人自主学习方法，包括如下步骤：

S1、在目标理解层面设计面向人机协作的深度学习方法引入人的经验知识；

S2、在任务学习层面引入人类的评价和反馈优化强化学习算法。

所述步骤S1具体包括：

首先，使用一个缩减的特征集来确定最佳候选集，然后，使用一个更大、更可靠的特征集来排列这些候选集。但是，这些方法需要设计两个独立的特征集合，而且在设计一个小的第一阶段特征集使得能快速计算和足够可靠地产生一个好的第二阶段候选检测集是比较困难的。利用深度学习可以简单地训练两个不同大小的网络，小的用于计算候选集，大的用于重新排列候选检测结果，从而避免复杂的手动调整特征值。

在人机协作模式中，机器人借助于人类的经验知识对未知的物体进行识别，或者从识别错误中得到矫正，需要建立一个带标签数据的训练模型，以更新机器人的学习网络参数；在人类的协作下，一方面机器人可以通过人类的描述更好地了解未知物体的特征(Features)；另一方面，机器人可以通过人类的共享经验正确地认识物体(Ground-truth)；在学习过程中，目标是求出使识别精度最佳的参数；这里，将人类辅助过程中产生的输入数据作为一组特征值(Features)及标签数据(Ground-truth)；在最深层的学习工作中使用两阶段学习方法；在第一阶段中，使用无监督特征学习方法(无监督学习算法)来初始化隐藏层的权值，在训练前加权是避免过度拟合的关键；采用了稀疏自动编码(SAE)算法，定义关于隐藏单元激活的稀疏惩罚函数，使用参数控制它的权值；在学习算法的监督阶段，需要获得分类器权值及用于识别的隐藏层的权值进行精细化；在两级检测的推理过程中，根据网络参数，首先用一个较小的网络产生一组相似目标的最高概率的分类，然后用一个具有一组独立参数的较大网络来重新排列这些分类集，并且得到一个最好的类型；两级模型学习的唯一的不同是用相同的方法来独立地得到这两组参数。

所述步骤S2包括以下步骤：