[发明专利]基于多视图CLIP的多模态讽刺意图识别方法、装置和设备在审
| 申请号： | 202310737347.3 | 申请日： | 2023-06-21 |
| 公开（公告）号： | CN116702091A | 公开（公告）日： | 2023-09-05 |
| 发明（设计）人： | 覃立波;周璟轩;黄仕爵;陈麒光;蔡晨冉;张钰迪;梁斌;车万翔;徐睿峰 | 申请（专利权）人： | 中南大学 |
| 主分类号： | G06F18/25 | 分类号： | G06F18/25;G06F18/2415;G06F18/2451;G06N3/0455;G06N3/047;G06N3/048;G06N3/084 |
| 代理公司： | 长沙市融智专利事务所(普通合伙) 43114 | 代理人： | 熊开兰 |
| 地址： | 410083 湖南*** | 国省代码： | 湖南;43 |
| 权利要求书： | 暂无信息 | 说明书： | 暂无信息 |
| 摘要： | 本发明公开了一种基于多视图CLIP的多模态讽刺意图识别方法、装置和设备，方法包括：对数据元组中的文本信息和图像信息均依次编码和解码；其中，采用CLIP模型编码分别得到文本和图像各自的向量表示，解码分别得到基于文本视图和图像视图的讽刺得分分布；将编码得到的文本和图像各自向量表示拼接后，喂入transformer进行模态融合，然后采用key‑less注意力机制确定其注意力权重，再解码得到基于文本与图像交互视图的讽刺得分分布；将基于文本视图、基于图像视图及基于文本与图像交互视图的3个讽刺得分分布进行聚合，并根据聚合结果获得数据元组的讽刺意图识别结果。本发明提升了讽刺意图识别准确率，且有良好的解释性。 | ||
| 搜索关键词： | 基于 视图 clip 多模态 讽刺 意图 识别 方法 装置 设备 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中南大学，未经中南大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202310737347.3/，转载请声明来源钻瓜专利网。
