[发明专利]澄清问题生成方法、装置和电子设备

权利要求书

1.一种澄清问题生成方法，包括：

响应于接收到用户输入的包括历史问题、历史答案和模糊问题的模糊上下文，从所述模糊上下文中提取实体信息；

将所述模糊上下文输入到预先构建的CQG神经网络模型的模板生成模块，以得到澄清问题模板；

将所述实体信息输入到所述CQG神经网络模型的实体渲染模块，以得到至少一个实体短语；以及

基于所述澄清问题模板和所述至少一个实体短语，生成对于所述模糊问题的澄清问题以呈现给所述用户；

其中，所述CQG神经网络模型是通过在Coarse-to-fine模型中加入分层Transformer机制和指针生成器机制构建的。

2.根据权利要求1所述的方法，其中，所述模板生成模块包括模板生成编码器和模板生成解码器；

所述模板生成编码器包括第一分层Transformer编码器层；

所述模板生成解码器包括第一分层Transformer解码器层和第一指针生成器；

将所述模糊上下文输入到所述模板生成模块以得到所述澄清问题模板，包括：基于所述模糊上下文，形成具有预定长度和预定维度的第一单词嵌入；

所述第一分层Transformer编码器层将所述第一单词嵌入转换成第一分层上下文表示；

所述第一分层Transformer解码器层和所述第一指针生成器基于所述第一分层上下文表示而生成所述澄清问题模板。

3.根据权利要求2所述的方法，其中，所述第一分层Transformer解码器层和所述第一指针生成器生成所述澄清问题模板包括：

所述第一分层Transformer解码器层基于所述第一分层上下文表示而生成第一预测输出表示，并根据所述第一预测输出表示，使用函数计算从预设的词汇库中生成单词的第一概率；

所述第一指针生成器用作第一软开关，以选择根据所述第一分层Transformer解码器层中最后一层解码器层输出的注意力分布而从所述模糊上下文中复制第一单词，或者根据由所述第一概率得到的第一最终概率从所述词汇库中生成第二单词；

基于所述第一单词和/或所述第二单词而生成所述澄清问题模板。

4.根据权利要求3所述的方法，其中，所述实体渲染模块包括实体渲染编码器和实体渲染解码器；

所述实体渲染编码器包括第二分层Transformer编码器层；

所述实体渲染解码器包括第二分层Transformer解码器层和第二指针生成器；

将所述实体信息输入到所述实体渲染模块以得到所述至少一个实体短语包括：

基于所述实体信息，形成具有所述预定长度和所述预定维度的第二单词嵌入；

所述第二分层Transformer编码器层将所述第二单词嵌入转换成第二分层上下文表示；

所述第二分层Transformer解码器层和所述第二指针生成器基于所述第二分层上下文表示而生成所述至少一个实体短语。

5.根据权利要求4所述的方法，其中，所述第二分层Transformer解码器层和所述第二指针生成器生成所述至少一个实体短语包括：

所述第二分层Transformer解码器层基于所述第二分层上下文表示而生成第二预测输出表示，并根据所述第二预测输出表示，使用函数计算从所述词汇库中生成单词的第二概率；

所述第二指针生成器用作第二软开关，以选择根据所述第二分层Transformer解码器层中最后一层解码器层输出的注意力分布而从所述实体信息中复制第三单词，或者根据由所述第二概率得到的第二最终概率从所述词汇库中生成第四单词；

基于所述第三单词和/或所述第四单词而生成所述至少一个实体短语。

6.根据权利要求1至5中任一项所述的方法，其中，所述CQG神经网络模型是通过协同训练范式而被训练的，所述协同训练范式将基于自监督学习的辅助任务和下游的CQG任务结合起来进行端到端的训练。

7.根据权利要求6所述的方法，其中，从所述基于自监督学习的辅助任务和所述下游的CQG任务的混合训练集中随机抽样训练实例输入到所述CQG神经网络模型，以训练最小的总损失。