[发明专利]智能语音助手决策策略的训练方法及装置

权利要求书

1.一种智能语音助手决策策略的训练方法，其特征在于，包括：

获取用户的日志数据；所述日志数据用于表示用户在与智能设备交互的历史语音操作中的行为数据和请求数据；

利用所述日志数据分析出用户语音请求的特征向量；所述特征向量用于表示用户发出语音请求后接收到的不同返回结果组成的向量；

将所述语音请求对应的所述特征向量作为输入，利用深度确定性策略梯度DDPG模型输出所述语音请求对应的决策内容；所述决策内容用于表示所述深度确定策略梯度DDPG模型预测出的用户应该接收到的与所述语音请求对应的预测返回结果；

在所述决策内容是向用户询问意见的情况下，根据所述语音请求的真实意图对询问的内容进行补充；所述真实意图用于表示预先标记的用户对于所述语音请求的预期结果；

将补充后的决策内容作为所述语音请求在智能语音助手中对应的决策策略。

2.根据权利要求1所述的方法，其特征在于，所述利用所述日志数据分析出用户语音请求的特征向量的步骤包括：

分析出所述智能设备根据所述语音请求发给用户的所述返回结果属于不同业务模块的请求特征和所述返回结果归属的媒体资源的资源特征；

根据用户在所述智能设备中发出所述语音请求的时间以及在所述智能设备中的关注内容，分析出用户的历史特征；

利用所述请求特征、所述资源特征和所述历史特征组成所述特征向量。

3.根据权利要求1所述的方法，其特征在于，所述将所述语音请求对应的所述特征向量作为输入，利用深度确定性策略梯度DDPG模型输出所述语音请求对应的决策内容的步骤之后，还包括：

在所述决策内容符合所述语音请求的真实意图的情况下，以大于预设概率阈值的概率接受所述决策内容；

将所述决策内容作为所述语音请求在智能语音助手中对应的决策策略。

4.根据权利要求3所述的方法，其特征在于，所述将所述决策内容作为所述语音请求在智能语音助手中对应的决策策略的步骤之后，还包括：

将接受所述决策内容的动作作为所述语音请求对应的决策结果反馈给所述深度确定策略梯度DDPG模型。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述将所述语音请求对应的所述特征向量作为输入，利用深度确定性策略梯度DDPG模型输出所述语音请求对应的决策内容的步骤之后，还包括：

在所述决策内容不符合所述语音请求的真实意图的情况下，以大于预设概率阈值的概率反对所述决策内容；

将反对所述决策内容的动作作为所述语音请求对应的决策结果反馈给所述深度确定策略梯度DDPG模型；

使所述深度确定性策略梯度DDPG模型根据所述决策结果调整所述语音请求对应的所述决策内容；

在所述决策内容符合所述语音请求的用户意图的情况下，将所述决策内容作为所述语音请求在智能语音助手中对应的决策策略。

6.一种智能语音助手决策策略的训练装置，其特征在于，包括：

数据获取模块，用于获取用户的日志数据；所述日志数据用于表示用户在与智能设备交互的历史语音操作中的行为数据和请求数据；

特征模拟模块，用于利用所述日志数据分析出用户语音请求的特征向量；所述特征向量用于表示用户发出语音请求后接收到的不同返回结果组成的向量；

决策模块，用于将所述语音请求对应的所述特征向量作为输入，利用深度确定性策略梯度DDPG模型输出所述语音请求对应的决策内容；所述决策内容用于表示所述深度确定策略梯度DDPG模型预测出的用户应该接收到的与所述语音请求对应的预测返回结果；

行为模拟模块，用于在所述决策内容是向用户询问意见的情况下，根据所述语音请求的真实意图对询问的内容进行补充；所述真实意图用于表示预先标记的用户对于所述语音请求的预期结果；

决策模块，用于将补充后的决策内容作为所述语音请求在智能语音助手中对应的决策策略。