[发明专利]基于分层强化学习的电力新装增容对话客服系统及方法

权利要求书

1.基于分层强化学习的电力新装增容对话客服系统，其特征是：包括：电力业务理解模块、对话状态跟踪器、对话策略及电力业务反馈模块；其中：

电力业务理解模块：用于理解和识别电力用户具体的需求信息，并将信息传输给对话状态跟踪器；

对话状态跟踪器：用于跟踪和记录当前的对话状态，并随时准备调用状态信息；

对话策略：用于产生对电力用户的优化应答，并更新对话策略不断优化迭代；

电力业务反馈模块：用于根据对话策略产生的应答翻译成用户可理解的信息，反馈给电力用户。

2.基于分层强化学习的电力新装增容对话客服方法，其特征是：包括以下步骤：

步骤1.对话系统从电力业务理解模块获得业务语料，可以是声音转化为文本抽取槽值，也可以是在线文本直接抽取槽值；

步骤2.电力客户与智能客服对话时，智能体对话数据取自共用的多领域通用对话语料库和电力英语条目语料；

步骤3.新装增容用电申请被成功接收，智能对话体根据多标准分层强化学习对话策略反馈给电力客户的信息，直至满足客户的要求，则视为对话成功。

3.根据权利要求2所述的基于分层强化学习的电力新装增容对话客服方法，其特征是：所述对话系统用于将用电客户的文本语料进行提取；由于涉及到用电的专业知识，将对话策略分解成为1类标准策略和2类标准策略两种奖赏值，其中1类标准策略称为外部奖赏值，包含多层；将电力专业知识进行多次分解直到语料库和数据库中的知识可以覆盖全部内容；2类标准策略称为内部奖赏值，包含了分解后的子任务和动作；两种奖赏值分别进行强化学习优化，引导客服系统及进行学习。

4.根据权利要求2所述的基于分层强化学习的电力新装增容对话客服方法，其特征是：所述语料信息包含对话的论数、对话成功与否的标志数、用户电力相关信息、系统回复的电力相关信息。

5.根据权利要求2所述的基于分层强化学习的电力新装增容对话客服方法，其特征是：所述槽值信息是将对话电力客户的目标分解成一系列槽值，包括：

新装增容容量槽值，显示电力客户的新装增容需求；

请求槽值，显示电力客户询问对话系统信息；

电力客户目标所需的槽值来自日常电力营业厅客服与真实电力客户对话的数据库集；

抽取所有出现在对话段落中的槽值，如果一个槽有多个值，则认为是电力客户的软约束，使用者后面可能改变他的选项在对话中探索别的选项；如果一个槽值只有一个选项，则这是硬约束不能协商；如果一个槽值为空，则它可能是电力用户的需求，如果在数据库中值是不存在的，则将这个槽值从电力客户的可能目标中移除；整个增容过程中至少需要2个过程，增容值确定和工程设计单位确定，而增容值和工程设计单位值均包含多个数值。

6.根据权利要求2所述的基于分层强化学习的电力新装增容对话客服方法，其特征是：所述多标准分层强化学习对话策略包括：多层1类标准对话策略π_gn和单层2类对话策略π_a，gn。

7.根据权利要求6所述的基于分层强化学习的电力新装增容对话客服方法，其特征是：所述1类标准策略π_gn，从环境中得到状态s以及选取子任务g，子任务也可以进一步分解，分解层数由n表示；所有具有奖赏值和终止条件的可执行的子任务都需要使用2类标准策略π_a，gn。