[发明专利]一种用户注意力引导的多模态对话系统及方法

说明书

本发明公开了一种用户注意力引导的多模态对话系统及方法，采用多模态编码器和解码器能够分别编码多模态话语和生成多模态回复。该系统包括数据获取模块、文本特征提取模块、多模态编码器和多模态解码器；所述数据获取模块获取文本信息和商品的视觉图像信息；文本特征提取模块生成注意力加权的文本特征；多模态编码器采用卷积神经网络模型提取视觉图像的视觉特征，将视觉特征输入分类—属性组合树中进行遍历，得到属性级视觉特征；对视觉特征和文本特征进行多模态分解双线性池化处理，生成多模态话语向量；多模态解码器生成上下文向量；基于上下文向量，选择一定量所需商品的可视图像及其文本属性，对其进行解码处理，生成多模态的商品表示。

技术领域

本公开涉及语言处理领域，具体涉及一种用户注意力引导的多模态对话系统及方法。

背景技术

对话系统作为一种智能的与计算机交互的方式，受到了越来越多的关注。然而，目前大多数方法只关注了基于文本的对话系统，完全忽略了视觉所传递的丰富语义。实际上，随着线上零售业和旅游业等许多领域的快速发展，对多模态任务导向型的对话系统的需求也正在增长。此外，很少有方法明确考虑了商品分类的层次化结构和用户对商品的注意力。事实上，随着对话的进行，用户倾向于将注意力集中在商品的语义属性上，如颜色和样式等。

发明人在研发过程中发现，现有的任务导向型的对话系统存在以下问题：

(1)大多数现有的对话系统只关注文本，而忽略了人们倾向于使用多模态信息沟通的事实；

(2)用户为了得到需要的商品，与聊天机器人交互时可能特别注意产品的某些方面或属性，而现有的对话系统在用户对于属性级别的关注非常有限；

(3)事实上，商品共享一些相同的属性，如颜色、样式和材料等从语义上描述商品的关键特征，而用户对商品的关注通常使用这些属性表达。融合图像和文本来探索用户的属性级别的关注是值得研究的。

发明内容

为了克服上述现有技术的不足，本公开提供了一种用户注意力引导的多模态对话系统及方法，采用多模态编码器和解码器能够分别编码多模态话语和生成多模态回复。

本公开一方面提供的一种用户注意力引导的多模态对话系统的技术方案是：

一种用户注意力引导的多模态对话系统，该系统包括数据获取模块、文本特征提取模块、多模态编码器和多模态解码器；

所述数据获取模块，用于获取用户与聊天机器人交互的文本信息，以及用户所需商品的视觉图像信息；

所述文本特征提取模块，用于利用基于注意力机制的双向循环神经网络训练文本信息，生成注意力加权的文本特征；

所述多模态编码器，用于采用卷积神经网络模型提取视觉图像的视觉特征，将视觉特征输入分类—属性组合树中进行遍历，得到属性级视觉特征；对视觉特征和文本特征进行多模态分解双线性池化处理，生成多模态话语向量；

所述多模态解码器，用于利用高层循环神经网络对多模态编码器生成的多模态话语向量进行训练，生成上下文向量；基于上下文向量，选择一定量所需商品的可视图像及其文本属性，对其进行解码处理，生成多模态的商品表示。

进一步的，所述多模态编码器包括卷积神经网络模块、分类—属性组合树模块和多模态分解双线性池化模块，其中：

所述卷积神经网络模块，用于将得到的商品视觉图像信息输入卷积神经网络模型，利用卷积神经网络模型对视觉图像信息进行编码，提取视觉图像的视觉特征；

所述分类—属性组合树模块，用于将卷积神经网络模块提取的视觉特征输入分类树；经过分类树遍历后的视觉特征输入到属性树遍历，使用文本特征对经过属性树遍历后的视觉特征进行交互和加权处理，生成属性级视觉特征；