[发明专利]一种基于最优解的智能体残障设备投放方法

权利要求书

1.一种基于最优解的智能体残障设备投放方法，其特征在于：所述投放方法包括：

输入智能体的初始状态，计算得到智能体选择的到下一个状态的移动轨迹的动作和Q值并进行初始化操作；

进行总回合中的一个片段操作，即在当前状态下经过动作选择后，执行动作后到达下一个状态的过程，这个过程在总回合中反复执行，直到到达奖励值最大的最终状态，将当前状态初始化为S0，在概率为ε时选择最大Q值对应的动作，否则选择一个随机动作，并执行该动作获得奖励后进入下一个状态；

将当前状态、执行的动作、奖励和下一个状态作为一个四元组集合存入经验池，并更新sum-tree的父节点；

判断当前Q值与最优值之间的误差是否在阈值范围内，并计算Q值完成对动作的估计得到最终状态，并将最终状态作为损失来训练估计网络，得到最终智能体选择的动作和Q值，选择出最佳多智能体残障设备的投放方式。

2.根据权利要求1所述的一种基于最优解的智能体残障设备投放方法，其特征在于：所述Q值表示智能体在一个状态下执行一个随机动作之后获得一个总奖励，智能体仅仅在每一次动作选择的时候选择当前状态动作对最大的Q值就可以满足得到此状态下的最优动作。

3.根据权利要求1所述的一种基于最优解的智能体残障设备投放方法，其特征在于：所述初始化操作包括：初始化估计网络的权重、目标网络的权重，经验池D、总回合M和学习率。

4.根据权利要求1所述的一种基于最优解的智能体残障设备投放方法，其特征在于：sum-tree用来存储最大抽样概率，它的叶子节点是经验池中的样本数量，所有叶子节点保存的是样本的抽样概率。

5.根据权利要求1所述的一种基于最优解的智能体残障设备投放方法，其特征在于：所述sum-tree存储最大抽样概率的步骤包括：

A1、判断当前节点是否是叶子节点，如果是，则设置为抽样节点；

A2、比较随机值和当前节点的左儿子节点，如果左儿子节点的值大于随机值，就向下搜索，将当前节点设置为左儿子节点，重复步骤A1，否则向右搜索，将当前节点设置为右儿子节点，并将随机值和左儿子节点的差作为输入，重复步骤A1。

6.根据权利要求1所述的一种基于最优解的智能体残障设备投放方法，其特征在于：如果当前Q值与最优值之间的误差在阈值范围内，则将距离最优值最远的状态所对应的Q值调整到最小，将取代最优值的次优质调整到最大。