[发明专利]确定执行设备的动作选择方针

权利要求书

1.一种执行设备的计算机实现的方法，用于生成动作选择方针，以在包括所述执行设备以及一个或多个其他设备的环境中完成任务，所述方法包括：

识别一个状态下的多个可能动作，其中，所述状态对应于信息集向量，并且所述信息集向量中的每个信息集包括由所述执行设备采取的导致所述状态的动作序列；

识别所述状态下的当前动作选择方针向量，其中，所述当前动作选择方针向量中的每个当前动作选择方针对应于所述信息集向量中的一个信息集，并且所述动作选择方针指定在所述状态下的所述多个可能动作中选择一个动作的相应概率；

基于所述状态下的所述当前动作选择方针向量计算采样方针，其中，所述采样方针指定与所述状态下的所述多个可能动作中的每个动作对应的相应采样概率；

根据所述采样方针中指定的所述状态下的所述多个可能动作中的一个动作的采样概率，对所述动作进行采样；以及

基于所述动作更新所述执行设备在所述状态下的所述当前动作选择方针向量中的每个当前动作选择方针，包括：基于所述动作执行蒙特卡罗反事实遗憾最小化MCCFR。

2.根据权利要求1所述的方法，还包括：响应于确定满足收敛条件，基于所述动作选择方针来控制所述执行设备的操作。

3.根据权利要求1所述的方法，其中，基于所述动作更新所述执行设备在所述状态下的所述当前动作选择方针向量中的每个当前动作选择方针包括：

基于所述动作的所述采样概率，计算采样的终点动作序列的概率，所述采样的终点动作序列包括所述动作和完成任务的终点状态；

基于所述采样的终点动作序列的概率，计算所述动作的采样反事实值；

基于所述动作的采样反事实值，计算所述动作的遗憾值；以及

基于所述动作的所述遗憾值，更新所述执行设备在所述状态下的所述当前动作选择方针向量中的每个当前动作选择方针。

4.根据权利要求1所述的方法，其中，

所述状态对应于包括由所述执行设备以及所述一个或多个其他设备公开已知的一个或多个动作的公开序列；以及

所述信息集向量中的每个信息集包括所述公开序列。

5.根据权利要求1所述的方法，其中，基于所述执行设备在所述状态下的所述当前动作选择方针向量计算采样方针包括：

将与所述状态下的所述多个可能动作中的每个动作对应的采样概率计算为在所述信息集向量上在所述状态下的所述多个可能动作中的每个动作的当前动作选择方针的平均值。

6.根据权利要求1所述的方法，其中，基于所述执行设备在所述状态下的所述当前动作选择方针向量计算采样方针包括：

基于所述状态下的所述多个可能动作中的每个动作的当前动作选择方针和所述信息集向量的相应到达概率，计算与所述状态下的所述多个可能动作中的每个动作对应的采样概率。

7.根据权利要求6所述的方法，其中，基于所述状态下的所述多个可能动作中的每个动作的当前动作选择方针和所述信息集向量的相应到达概率，计算与所述状态下的所述多个可能动作中的每个动作对应的采样概率，包括：

基于经所述信息集向量的相应到达概率加权的所述状态下的所述多个可能动作中的每个动作的当前动作选择方针的总和，计算与所述状态下的所述多个可能动作中的每个动作对应的采样概率。

8.根据权利要求1所述的方法，其中，基于所述执行设备在所述状态下的所述当前动作选择方针向量计算采样方针包括：

基于所述状态下的所述多个可能动作中的每个动作的平均动作选择方针以及所述信息集向量的相应到达概率，计算与所述状态下的所述多个可能动作中的每个动作对应的采样概率。