[发明专利]对话策略优化的冷启动系统和方法

说明书

一种对话策略优化的冷启动系统和方法，包括：用户输入模块、对话状态跟踪模块、教师决策模块、学生决策模块、从教师决策模块和学生决策模块产生的回复动作中随机选择一个最终的回复动作的动作选择模块、将最终的回复动作转换成更自然的表达并展现给用户的输出模块、将对话经验(transition)存储到经验池中并采样固定数量的经验，根据深度Q网络(DQN)算法进行网络参数更新的策略训练模块以及在对话的每一个轮回计算对话的奖励回报(Reward)并输出至策略训练模块的奖励函数模块。本发明能够显著提高对话策略在强化学习在线训练初期的性能；提高对话策略的学习速度，即减少其达到一定性能所用的对话数量。

技术领域

本发明涉及的是一种智能人机对话领域的技术，具体是一种对话策略优化的冷启动系统和方法。

背景技术

智能人机对话系统是能与用户进行对话交互的智能系统。其中，对话策略是整个系统中决定如何回复用户的模块。对话策略的最早设计方法是设计者根据不同的用户输入设计不同的逻辑规则。这种方法的缺点是对话策略不能随着用户的反馈不断进行优化，增强对用户和环境的自适应能力。

近年来，深度强化学习方法逐渐被用于对话策略的优化中。在此方法中，对话策略用一个神经网络来表示，并利用奖励信号(reward)进行强化训练，此方法的好处是随着用户的不断使用，系统的性能(例如对话成功率)会不断提高。但是也有两大缺点：一是，在训练的初期，系统的性能很差，会导致用户流失；二是，如果要使系统达到一定的性能，需要大量的对话数据进行训练。

发明内容

本发明针对现有技术在训练初期，系统性能很差，且需要大量的对话数据进行训练以提高性能的缺陷，提出一种对话策略优化的冷启动系统和方法，能够显著提高对话策略在强化学习在线训练初期的性能；提高对话策略的学习速度，即减少其达到一定性能所用的对话数量。

本发明是通过以下技术方案实现的：

本发明涉及一种对话策略优化的冷启动系统，包括：用于接收用户输入的用户输入模块、用于解析当前用户输入的语义并根据对话上下文进行对话状态跟踪，即理解用户的意图的对话状态跟踪模块、根据设计好的基于规则的对话策略决策出在当前状态下的回复动作的教师决策模块、根据策略网络决策出当前状态的回复动作并估计当前决策的确定度的学生决策模块、从教师决策模块和学生决策模块产生的回复动作中随机选择一个最终的回复动作的动作选择模块、将最终的回复动作转换成更自然的表达并展现给用户的输出模块、将对话经验(transition)存储到经验池中并采样固定数量的经验，根据深度Q网络(DQN)算法进行网络参数更新的策略训练模块以及在对话的每一个轮回计算对话的奖励回报(Reward)并输出至策略训练模块的奖励函数模块。

所述的用户输入包括但不限于语音、图像或者文本。

所述的策略网络采用但不限于Q-网络。

所述的随机选择中，选择学生决策模块产生的回复动作的确定度由Q-网络Dropout(在深度学习网络的训练过程中,对于神经网络单元,按照一定的概率将其暂时从网络中丢弃)带来的不确定性定义，具体为：Q-网络的每一个隐层后设有一Dropout层，在决策时，由于Dropout层每次将隐层节点置0的位置不同，对于同一对话状态输入，网络的输出也会不同，重复输入N次，得到N个动作，其中占比最大的动作为最终的决策动作a^stu，同时对应的占比即为决策的确定度c_t。

所述在第e个对话时，动作选择模块的具体选择步骤如下：

1)根据如下公式计算当前对话前连续W个对话决策的平均确定度其中：T_i表示第i个对话的总的对话轮数；