[发明专利]一种推理模型的训练方法、装置、电子设备及存储介质

权利要求书

1.一种推理模型的训练方法，其特征在于，包括：

针对训练样本中的当前题目，获取所述当前题目的当前题目状态；

根据所述当前题目状态在动作数据库中获取相关解题动作；

根据预设的规则和预设神经网络模型在所述相关解题动作中选取当前待执行动作，包括：根据预先设定的与所述解题动作相关的抽取概率选出当前待执行动作，或者，通过在神经网络模型中输入当前题目状态和各解题动作，预测所述各解题动作对应的收益，选取收益值最大的解题动作为当前待执行动作，或者，获取一随机数，当随机数小于预设阈值时，从所述相关解题动作中随机选择一个动作作为当前待执行动作，当所述随机数大于所述预设阈值时，通过在神经网络模型中输入当前题目状态和各解题动作，预测所述各解题动作对应的收益，选取收益值最大的解题动作为当前待执行动作；

执行所述当前待执行动作，得到新的题目状态；

将所述新的题目状态作为当前题目的当前题目状态，继续选取并执行相应的当前待执行动作，直到满足停止条件；

其中，所述题目状态包括题目中的条件和问题。

2.根据权利要求1所述的方法，其特征在于，将所述新的题目状态作为当前题目的当前题目状态，继续选取并执行相应的当前待执行动作，直到满足停止条件之后，还包括：

当解题成功或失败时，根据预设的收益规则计算所述推理模型的收益值；

将计算的收益值按照预设分配规则分配给解答所述当前题目所执行的各动作，以作为使用所述推理模型进行解题时选取动作的依据；

其中，所述解题成功包括：初始的题目条件满足题目问题；所述解题不成功包括以下情况至少之一：

初始的题目条件不满足题目问题；

推理步骤超过预设长度；

题目状态的复杂度超过预设复杂度阈值。

3.根据权利要求1所述的方法，其特征在于，所述停止条件包括：推理完成和/或推理步骤超过预设步数；

在满足停止条件之后，还包括：

获取所述训练样本中下一题目对应的题目状态进行模型训练直至所述推理模型的推理成功率大于预设推理阈值率。

4.一种推理模型的训练装置，其特征在于，包括：

题目获取模块，用于针对训练样本中的当前题目，获取所述当前题目的当前题目状态；

动作选取模块，用于根据所述当前题目状态在动作数据库中获取相关解题动作，根据预设的规则和预设神经网络模型在所述相关解题动作中选取当前待执行动作，包括：根据预先设定的与所述解题动作相关的抽取概率选出当前待执行动作，或者，通过在神经网络模型中输入当前题目状态和各解题动作，预测所述各解题动作对应的收益，选取收益值最大的解题动作为当前待执行动作，或者，获取一随机数，当随机数小于预设阈值时，从所述相关解题动作中随机选择一个动作作为当前待执行动作，当所述随机数大于所述预设阈值时，通过在神经网络模型中输入当前题目状态和各解题动作，预测所述各解题动作对应的收益，选取收益值最大的解题动作为当前待执行动作；

动作执行模块，用于执行所述当前待执行动作，得到新的题目状态；

重复执行模块，用于将所述新的题目状态作为当前题目的当前题目状态，继续选取并执行相应的当前待执行动作，直到满足停止条件；

其中，所述题目状态包括题目中的条件和问题。

5.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一所述的一种推理模型的训练方法。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一所述的一种推理模型的训练方法。