[发明专利]基于多关系图模型的多模态对话问答生成方法在审
| 申请号： | 202211451009.5 | 申请日： | 2022-11-18 |
| 公开（公告）号： | CN115712709A | 公开（公告）日： | 2023-02-24 |
| 发明（设计）人： | 吕姚嘉;朱文轩;刘铭;徐洁馨;李秋霞;秦兵 | 申请（专利权）人： | 哈尔滨工业大学;招商银行股份有限公司 |
| 主分类号： | G06F16/332 | 分类号： | G06F16/332;H04N21/44;G06F40/35 |
| 代理公司： | 哈尔滨华夏松花江知识产权代理有限公司 23213 | 代理人： | 岳昕 |
| 地址： | 150001 黑龙*** | 国省代码： | 黑龙江;23 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 基于多关系图模型的多模态对话问答生成方法，涉及一种多模态对话问答生成方法。本发明为了解决现有的多模态对话系统仅考虑场景序列化信息而导致现有模型效果一般的问题。本发明首先将视频序列化切分为多个视频片段，对于每个片段获取该片段的色彩特征、光流特征和音频特征，并拼接起来，再加入位置信息和模态信息得到各个视频片段的序列表示；将每个视频片段视作顶点，构建基于全联通关系的视频图并输入图卷积神经网络，得到视频隐藏层序列以及与原视频序列的融合表示；然后利用相似的方式处理基于视听场景标题和对话历史对应的词向量得到各自对应的文本隐藏层序列以及与原文本序列的融合表示；最后利用神经网络模型生成回答。 | ||
| 搜索关键词： | 基于 关系 模型 多模态 对话 问答 生成 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于哈尔滨工业大学;招商银行股份有限公司，未经哈尔滨工业大学;招商银行股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202211451009.5/，转载请声明来源钻瓜专利网。
- 上一篇：一种钢模板连接支撑装置
- 下一篇：手持式氧化铝收集装置及其收集方法
