[发明专利]一种用户注意力引导的多模态对话系统及方法有效
| 申请号： | 201910458875.9 | 申请日： | 2019-05-29 |
| 公开（公告）号： | CN110209789B | 公开（公告）日： | 2021-08-24 |
| 发明（设计）人： | 王文杰;聂礼强;崔晨;尹建华;程志勇;胡琳梅 | 申请（专利权）人： | 山东大学 |
| 主分类号： | G06F16/332 | 分类号： | G06F16/332;G06F16/583;G06K9/62;G06N3/04 |
| 代理公司： | 济南圣达知识产权代理有限公司 37221 | 代理人： | 杨晓冰 |
| 地址： | 250101 山东*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种用户注意力引导的多模态对话系统及方法，采用多模态编码器和解码器能够分别编码多模态话语和生成多模态回复。该系统包括数据获取模块、文本特征提取模块、多模态编码器和多模态解码器；所述数据获取模块获取文本信息和商品的视觉图像信息；文本特征提取模块生成注意力加权的文本特征；多模态编码器采用卷积神经网络模型提取视觉图像的视觉特征，将视觉特征输入分类—属性组合树中进行遍历，得到属性级视觉特征；对视觉特征和文本特征进行多模态分解双线性池化处理，生成多模态话语向量；多模态解码器生成上下文向量；基于上下文向量，选择一定量所需商品的可视图像及其文本属性，对其进行解码处理，生成多模态的商品表示。 | ||
| 搜索关键词： | 一种 用户 注意力 引导 多模态 对话 系统 方法 | ||
【主权项】：
1.一种用户注意力引导的多模态对话系统，其特征是，该系统包括数据获取模块、文本特征提取模块、多模态编码器和多模态解码器；所述数据获取模块，用于获取用户与聊天机器人交互的文本信息，以及用户所需商品的视觉图像信息；所述文本特征提取模块，用于利用基于注意力机制的双向循环神经网络训练文本信息，生成注意力加权的文本特征；所述多模态编码器，用于采用卷积神经网络模型提取视觉图像的视觉特征，将视觉特征输入分类—属性组合树中进行遍历，得到属性级视觉特征；对视觉特征和文本特征进行多模态分解双线性池化处理，生成多模态话语向量；所述多模态解码器，用于利用高层循环神经网络对多模态编码器生成的多模态话语向量进行训练，生成上下文向量；基于上下文向量，选择所需商品的可视图像及其文本属性，对其进行解码处理，生成多模态的商品表示。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于山东大学，未经山东大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910458875.9/，转载请声明来源钻瓜专利网。
