[发明专利]智能语音助手决策策略的训练方法及装置

说明书

本申请提供的智能语音助手决策策略的训练方法及装置，能够利用日志数据分析出用户语音请求的特征向量；再将特征向量作为输入，使DDPG模型输出语音请求对应的决策内容；然后在决策内容是向用户询问意见的情况下，根据语音请求的真实意图对询问的内容进行补充；最后将补充后的决策内容作为语音请求在智能语音助手中对应的决策策略。本申请的技术方案，可以在智能设备离线的状态下，模拟出用户与智能语音助手的交互行为，并将模拟用户交互时补充的决策内容作为智能语音助手的决策策略。在智能语音助手完成训练后，如果语音请求对应多个业务模块的返回结果，也能准确地将用户想要的返回结果确定出来提供给用户，提高用户与智能语音助手交互的准确性。

技术领域

本申请涉及智能家居技术领域，尤其涉及一种智能语音助手决策策略的训练方法及装置。

背景技术

目前，很多智能设备都通过智能语音助手来实现和用户的智能互动。其中，决策引擎是智能语音助手的核心部分，其主要任务是对用户在各业务下的用户请求进行语义解析和综合判断，输出最能符合用户真实意图的请求结果。因此，决策引擎的正确率直接影响着智能语音助手的智能化程度，进而影响着用户体验。

决策引擎的决策方式主要通过规则算法或者分类模型算法等来实现。规则算法通过设定某些业务的优先程度来决定业务的输出顺序，通过人工设定阈值的方式确定每个业务的优先程度，比如在电视端，电视电影等视频业务是主要业务，其阈值较高，则优先输出视频影音等业务，但是音箱端，可能就会优先输出音乐等音频业务；分类模型算法主要是将各类业务的解析结果当作输入，各模块标签作为输出，通过分类模型判断各个模块解析结果的分类概率，输出概率最高的业务。

上述规则算法和分类模型算法在智能语音助手发展的初期起到了很重要的作用，但是随着集成的业务越来越多样化，对于用户同一个请求，不管请求多少次，决策引擎给出的结果都是一样的，这个结果有可能是对的，有可能是错的。当用户请求比较模棱两可，即涉及多个业务领域时，决策引擎无法确定用户请求的结果是哪个业务领域的，进而给出的结果的正确率比较低。进而影响用户使用智能语音助手搜索内容的体验感。

发明内容

本申请提供了一种智能语音助手决策策略的训练方法及装置，以解决目前智能设备中智能语音助手搜索内容正确率低的问题，进而保证用户的体验效果。

第一方面，本申请提供了一种智能语音助手决策策略的训练方法，包括：

获取用户的日志数据；所述日志数据用于表示用户在与智能设备交互的历史语音操作中的行为数据和请求数据；

利用所述日志数据分析出用户语音请求的特征向量；所述特征向量用于表示用户发出语音请求后接收到的不同返回结果组成的向量；

将所述语音请求对应的所述特征向量作为输入，利用深度确定性策略梯度DDPG模型输出所述语音请求对应的决策内容；所述决策内容用于表示所述深度确定策略梯度DDPG模型预测出的用户应该接收到的与所述语音请求对应的预测返回结果；

在所述决策内容是向用户询问意见的情况下，根据所述语音请求的真实意图对询问的内容进行补充；所述真实意图用于表示预先标记的用户对于所述语音请求的预期结果；

将补充后的决策内容作为所述语音请求在智能语音助手中对应的决策策略。

在一些实施例中，所述利用所述日志数据分析出用户语音请求的特征向量的步骤包括：

分析出所述智能设备根据所述语音请求发给用户的所述返回结果属于不同业务模块的请求特征和所述返回结果归属的媒体资源的资源特征；

根据用户在所述智能设备中发出所述语音请求的时间以及在所述智能设备中的关注内容，分析出用户的历史特征；

利用所述请求特征、所述资源特征和所述历史特征组成所述特征向量。