[发明专利]用于增强学习的策略生成网络的训练方法、装置和电子设备

权利要求书

1.一种用于增强学习的策略生成网络的训练方法，包括：

获取执行任务的对象的连续对象状态信息和所述对象所作用的环境的连续环境状态信息，所述连续对象状态信息包含所述对象的多个对象状态，且所述连续环境状态信息包含所述环境的多个环境状态；

确定所述连续对象状态信息和所述连续环境状态信息的联合概率分布，以及所述连续对象状态信息和所述连续环境状态信息各自的第一边缘分布和第二边缘分布；

确定所述联合概率分布与所述第一边缘分布和所述第二边缘分布之积的KL散度值；以及

以所述KL散度值作为奖励函数而通过预定策略更新所述策略生成网络的参数。

2.如权利要求1所述的用于增强学习的策略生成网络的训练方法，其中，获取执行任务的对象的连续对象状态信息和所述对象所作用的环境的连续环境状态信息包括：

获取所述执行任务的对象的连续的三维位置信息以作为所述连续对象状态信息；以及

获取所述对象所作用的环境的连续的三维位置信息以作为所述连续环境状态信息。

3.如权利要求2所述的用于增强学习的策略生成网络的训练方法，其中，获取所述执行任务的对象的连续的三维位置信息以作为所述连续对象状态信息包括：

获取所述执行任务的对象的连续的三维位置信息，以及连续的方位信息、线速度信息和角速度信息中的至少一个以作为所述连续对象状态信息。

4.如权利要求1所述的用于增强学习的策略生成网络的训练方法，其中，确定所述联合概率分布与所述第一边缘分布和所述第二边缘分布之积的KL散度值包括：

从所述联合概率分布采样第一当前状态对和第一下一状态对；

从所述连续对象状态信息和所述第二边缘分布分别采样当前状态和下一状态以组成第二当前状态对和第二下一状态对；

通过用于计算互信息的统计网络确定所述第一当前状态对和第一下一状态对的两个第一互信息值；

通过用于计算互信息的统计网络确定所述第二当前状态对和第二下一状态对的两个第二互信息值，并通过所述多个第二互信息值作为自然常数的指数以确定两个第二指数值；

基于所述两个第一互信息值与两个第二指数值，确定过渡互信息值；以及，

基于所述过渡互信息值获得所述KL散度值。

5.如权利要求4所述的用于增强学习的策略生成网络的训练方法，其中，基于所述过渡互信息值获得所述KL散度值包括：

确定所述过渡互信息值是否小于零或者大于预定义的最大过渡互信息值；

响应于所述过渡互信息值小于零，将所述KL散度值设置为零；

响应于所述过渡互信息值大于预定义的最大过渡互信息值，将所述KL散度值设置为所述预定义的最大过渡互信息值；以及，

响应于所述过渡互信息值大于零且小于所述预定义的最大过渡互信息值，将所述KL散度值设置为所述过渡互信息值。

6.如权利要求4所述的用于增强学习的策略生成网络的训练方法，其中，所述统计网络通过训练得到，所述训练过程包括：

从所述联合概率分布采样多个训练用第一状态对；

从所述连续对象状态信息和所述第二边缘分布分别采样状态以组成多个训练用第二状态对；

使用所述统计网络计算所述多个训练用第一状态对的多个训练用第一互信息值；

使用所述统计网络计算所述多个训练用第二状态对的多个训练用第二互信息值，并使用所述多个训练用第二互信息值作为自然常数的指数以计算出多个训练用第二指数值；

将所述多个第一互信息值的平均值减去对多个第二指数值的平均值的对数以获得训练用过渡互信息值；以及，

通过反向传播更新所述统计网络的参数以最大化所述训练用过渡互信息值。

7.如权利要求1所述的用于增强学习的策略生成网络的训练方法，其中，以所述KL散度值作为奖励函数而通过预定策略更新所述策略生成网络的参数包括：

以所述KL散度值作为奖励函数而通过深度决定性策略梯度更新所述策略生成网络的参数。