[发明专利]一种动作预测方法及装置

权利要求书

1.一种动作预测方法，其特征在于，包括：

获取智能体与所在环境中的环境对象进行交互过程中的轨迹序列；所述轨迹序列包括多个连续动作下的轨迹数据集合，每个轨迹数据集合中的参数信息包括动作奖励值；

对多个所述轨迹数据集合进行动作奖励值重分配，使得每个轨迹数据集合对应的动作奖励值非零；

从进行动作奖励值重分配后的所述轨迹序列中选取目标轨迹序列作为待训练的目标样本，每个所述目标样本中包括对应的轨迹数据集合中的至少一种参数信息；

基于多个所述目标样本，训练得到状态转移模型；所述状态转移模型用于为智能体预测待执行的动作；

基于多个所述目标样本，训练得到状态转移模型，包括：

将所述目标样本中除所述动作奖励值外的参数信息作为状态转移模型的输入参数信息，将所述动作奖励值作为状态转移模型的输出参数信息，训练得到所述状态转移模型；所述目标样本中除所述动作奖励值外的参数信息包括：动作信息和状态信息。

2.根据权利要求1所述的方法，其特征在于，训练得到状态转移模型之后，还包括：

基于智能体的目标状态信息，基于所述状态转移模型，预测所述智能体在所述目标状态下执行不同动作序列后，分别对应的累积动作奖励；

为所述智能体选取对应的累积动作奖励最多的动作序列。

3.根据权利要求1所述的方法，其特征在于，获取智能体与环境交互过程中的轨迹序列，包括：

获取智能体与所在环境中的环境对象进行交互过程中的完整轨迹序列；

若所述完整轨迹序列的长度大于预设长度，则将所述完整轨迹序列切割为多段轨迹序列；

分别获取每段轨迹序列。

4.根据权利要求1所述的方法，其特征在于，对多个所述轨迹数据集合进行动作奖励值重分配，包括：

利用贡献分配算法对多个所述轨迹数据集合进行动作奖励值重分配；所述贡献分配算法包括逐层相关性传播算法、泰勒近似算法和路径积分算法中的任意一种。

5.根据权利要求1所述的方法，其特征在于，从进行动作奖励值重分配后的所述轨迹序列中选取目标轨迹序列作为待训练的目标样本，包括：

从进行动作奖励值重分配后的所述轨迹序列中，按照预设规则选取目标轨迹序列作为待训练的目标样本；所述预设规则用于描述对轨迹数据集合中至少一种参数信息的约束条件。

6.根据权利要求2所述的方法，其特征在于，基于智能体的目标状态信息，基于所述状态转移模型，预测所述智能体在所述目标状态下执行不同动作序列后，分别对应的累积动作奖励，包括：

基于智能体的目标状态信息，基于所述状态转移模型，预测所述智能体在所述目标状态下执行每个动作序列后，得到所述动作序列中每个动作对应的动作奖励值；

将所述动作序列中各个动作对应的动作奖励值与该动作奖励值的累积系数的乘积的和确定为所述动作序列对应的累积动作奖励。

7.一种动作预测装置，其特征在于，包括：

获取模块，用于获取智能体与所在环境中的环境对象进行交互过程中的轨迹序列；所述轨迹序列包括多个连续动作下的轨迹数据集合，每个轨迹数据集合中的参数信息包括动作奖励值；

重分配模块，用于对多个所述轨迹数据集合进行动作奖励值重分配，使得每个轨迹数据集合对应的动作奖励值非零；

选取模块，用于从进行动作奖励值重分配后的所述轨迹序列中选取目标轨迹序列作为待训练的目标样本，每个所述目标样本中包括对应的轨迹数据集合中的至少一种参数信息；

训练模块，用于基于多个所述目标样本，训练得到状态转移模型；所述状态转移模型用于为智能体预测待执行的动作；

所述训练模块具体用于：将所述目标样本中除所述动作奖励值外的参数信息作为状态转移模型的输入参数信息，将所述动作奖励值作为状态转移模型的输出参数信息，训练得到所述状态转移模型；所述目标样本中除所述动作奖励值外的参数信息包括：动作信息和状态信息。