[发明专利]一种用户注意力引导的多模态对话系统及方法

权利要求书

1.一种用户注意力引导的多模态对话系统，其特征是，该系统包括数据获取模块、文本特征提取模块、多模态编码器和多模态解码器；

所述数据获取模块，用于获取用户与聊天机器人交互的文本信息，以及用户所需商品的视觉图像信息；

所述文本特征提取模块，用于利用基于注意力机制的双向循环神经网络训练文本信息，生成注意力加权的文本特征；

所述多模态编码器，用于采用卷积神经网络模型提取视觉图像的视觉特征，将视觉特征输入分类—属性组合树中进行遍历，使用文本特征对经过属性树遍历后的视觉特征进行交互和加权处理，得到属性级视觉特征；对视觉特征和文本特征进行多模态分解双线性池化处理，生成多模态话语向量；

所述多模态解码器，用于利用高层循环神经网络对多模态编码器生成的多模态话语向量进行训练，生成上下文向量；基于上下文向量，选择所需商品的可视图像及其文本属性，对其进行解码处理，生成多模态的商品表示。

2.根据权利要求1所述的用户注意力引导的多模态对话系统，其特征是，所述多模态编码器包括卷积神经网络模块、分类—属性组合树模块和多模态分解双线性池化模块，其中：

所述卷积神经网络模块，用于将得到的商品视觉图像信息输入卷积神经网络模型，利用卷积神经网络模型对视觉图像信息进行编码，提取视觉图像的视觉特征；

所述分类—属性组合树模块，用于将卷积神经网络模块提取的视觉特征输入分类树；经过分类树遍历后的视觉特征输入到属性树遍历，使用文本特征对经过属性树遍历后的视觉特征进行交互和加权处理，生成属性级视觉特征；

所述多模态分解双线性池化模块，用于对得到的视觉特征和文本特征进行多模态分解双线性池化处理，生成多模态话语向量。

3.根据权利要求1所述的用户注意力引导的多模态对话系统，其特征是，所述多模态解码器包括上下文向量生成模块和多模态解码模块，其中：

所述上下文向量生成模块，用于利用高层循环神经网络对多模态编码器生成的话语向量进行训练，生成上下文向量；

所述多模态解码模块，用于选择设定量的商品的可视图像及其文本属性，对商品的可视图像及其文本属性进行编码，输出多模态的商品表示，包括多模态文本回复和所选商品图像；分别计算上下文向量与正样本商品表示、负样本商品表示之间的余弦相似度，利用最大化正负样本的余弦相似度之间的间隔对商品图像进行排序。

4.根据权利要求1所述的用户注意力引导的多模态对话系统，其特征是，所述文本特征提取模块具体用于：

将得到的用户与聊天机器人交互的文本信息输入基于注意力机制的双向循环神经网络，依次经过两个卷积层、激活函数和分类器处理后，生成注意力加权的文本特征。

5.一种用户注意力引导的多模态对话方法，其特征是，该方法包括以下步骤：

获取用户与聊天机器人交互的文本信息，以及用户所需商品的视觉图像信息；

利用基于注意力机制的双向循环神经网络训练文本信息，生成注意力加权的文本特征；

采用卷积神经网络模型提取视觉图像的视觉特征，将视觉特征输入分类—属性组合树中进行遍历，使用文本特征对经过属性树遍历后的视觉特征进行交互和加权处理，得到属性级视觉特征；

对得到的视觉特征和文本特征进行多模态分解双线性池化处理，生成多模态话语向量；

利用高层循环神经网络对多模态编码器生成的多模态话语向量进行训练，生成上下文向量；

基于上下文向量，选择所需商品的可视图像及其文本属性，对其进行解码处理，生成多模态的商品表示。

6.根据权利要求5所述的用户注意力引导的多模态对话方法，其特征是，所述注意力加权的文本特征的方法为：

将得到的用户与聊天机器人交互的文本信息输入基于注意力机制的双向循环神经网络，依次经过两个卷积层、激活函数和分类器处理后，生成注意力加权的文本特征。