[发明专利]利用自适应的时空图模型通过提升视频-语言表征学习来解决视频问答问题的方法及其系统有效
| 申请号： | 202010795917.0 | 申请日： | 2020-08-10 |
| 公开（公告）号： | CN111652202B | 公开（公告）日： | 2020-12-01 |
| 发明（设计）人： | 赵洲;何金铮;金韦克 | 申请（专利权）人： | 浙江大学 |
| 主分类号： | G06K9/00 | 分类号： | G06K9/00;G06K9/32;G06K9/62;G06N3/04;G06F16/332;G06F16/9537 |
| 代理公司： | 杭州求是专利事务所有限公司 33200 | 代理人： | 郑海峰 |
| 地址： | 310058 浙江*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种利用自适应的时空图模型通过提升视频‑语言表征学习来解决视频问答问题的方法及其系统，属于视频问答文本生成领域。首先，针对一组视频、问题、答案训练集，使用目标检测器获取每个视频帧的目标级别的信息。其次，对于目标级别的信息，使用自适应的时空图模型学到目标的动态表达。最后，使用Transformer模型学习视觉和文本信息之间的联系，增强视觉问答的性能。相比于一般的视频问答解决方案，本发明利用了自适应的时空图模型更好地获取了目标的时空动态信息，同时试图将不同视频帧的相同物体联系起来，更好地捕获动态信息，并采用了图片‑语言数据进行预训练来提升视频‑语言模型，提升了解决视频问答问题的效果。 | ||
| 搜索关键词： | 利用 自适应 时空 模型 通过 提升 视频 语言 表征 学习 解决 问答 问题 方法 及其 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于浙江大学，未经浙江大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010795917.0/，转载请声明来源钻瓜专利网。
- 上一篇：一种基于编码-解码网络的音乐伴奏自动生成方法及其系统
- 下一篇：电子锁装置
