[发明专利]一种图片标题生成方法、装置和计算机可读存储介质有效
| 申请号: | 201810644268.7 | 申请日: | 2018-06-21 |
| 公开(公告)号: | CN108920565B | 公开(公告)日: | 2022-07-05 |
| 发明(设计)人: | 洪宇;张家硕;姚建民 | 申请(专利权)人: | 苏州大学 |
| 主分类号: | G06F16/583 | 分类号: | G06F16/583;G06F16/33;G06F40/289;G06F40/30;G06N3/04 |
| 代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 罗满 |
| 地址: | 215137 *** | 国省代码: | 江苏;32 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 图片 标题 生成 方法 装置 计算机 可读 存储 介质 | ||
1.一种图片标题生成方法,其特征在于,包括:
从数据库中抓取图片及其对应的文档信息;
利用神经网络中的编解码模型为所述图片生成对应的初始标题;
依据预设的匹配规则,计算所述初始标题与其相应的文档信息中语句的匹配度,以确定出所述图片的标题;
所述利用神经网络中的编解码模型为所述图片生成对应的初始标题包括:
对所述图片进行特征提取,以得到特征矩阵;
对所述特征矩阵进行解码处理,生成单词序列,并将所述单词序列作为所述图片的初始标题;
在生成单词序列的每一个时刻,加入注意力机制,动态地调整特征矩阵;使用循环神经网络对调整后的特征矩阵进行解码,生成单词序列即图片的初始标题;
所述依据预设的匹配规则,计算所述初始标题与其相应的文档信息中语句的匹配度,以确定出所述图片的标题包括:
对所述文档信息进行分句处理,以得到多个目标语句;
计算所述初始标题与各所述目标语句之间的相似度;
使用文本蕴含技术,计算各所述目标语句对所述初始标题的蕴含度;
对同一目标语句所对应的相似度和蕴含度进行加权求和,以确定出各目标语句与所述初始标题之间的匹配度;
从超过预设阈值的匹配度中选取一个匹配度,将选取的匹配度所对应的目标语句作为所述图片的标题。
2.根据权利要求1所述的方法,其特征在于,所述计算所述初始标题与各所述目标语句之间的相似度包括:
依据预先设定的度量规则,计算所述初始标题与各所述目标语句之间的字符串相似度;
利用向量空间模型,计算所述初始标题与各所述目标语句之间的第一语义相似度;
利用神经网络模型,计算所述初始标题与各所述目标语句之间的第二语义相似度;
对同一目标语句所对应的字符串相似度、第一语义相似度和第二语义相似度进行加权求和,以确定出各目标语句与所述初始标题之间的相似度。
3.一种图片标题生成装置,其特征在于,包括获取单元、生成单元和确定单元;
所述获取单元,用于从数据库中抓取图片及其对应的文档信息;
所述生成单元,用于利用神经网络中的编解码模型为所述图片生成对应的初始标题;
所述确定单元,用于依据预设的匹配规则,计算所述初始标题与其相应的文档信息中语句的匹配度,以确定出所述图片的标题;
所述生成单元包括提取子单元和解码子单元;
所述提取子单元,用于对所述图片进行特征提取,以得到特征矩阵;
所述解码子单元,用于对所述特征矩阵进行解码处理,生成单词序列,并将所述单词序列作为所述图片的初始标题;
在生成单词序列的每一个时刻,加入注意力机制,动态地调整特征矩阵;使用循环神经网络对调整后的特征矩阵进行解码,生成单词序列即图片的初始标题;
所述确定单元包括分句子单元、第一计算子单元、第二计算子单元、求和子单元和作为子单元;
所述分句子单元,用于对所述文档信息进行分句处理,以得到多个目标语句;
所述第一计算子单元,用于计算所述初始标题与各所述目标语句之间的相似度;
所述第二计算子单元,用于使用文本蕴含技术,计算各所述目标语句对所述初始标题的蕴含度;
所述求和子单元,用于对同一目标语句所对应的相似度和蕴含度进行加权求和,以确定出各目标语句与所述初始标题之间的匹配度;
所述作为子单元,用于从超过预设阈值的匹配度中选取一个匹配度,将选取的匹配度所对应的目标语句作为所述图片的标题。
4.根据权利要求3所述的装置,其特征在于,所述第一计算子单元具体用于依据预先设定的度量规则,计算所述初始标题与各所述目标语句之间的字符串相似度;利用向量空间模型,计算所述初始标题与各所述目标语句之间的第一语义相似度;利用神经网络模型,计算所述初始标题与各所述目标语句之间的第二语义相似度;对同一目标语句所对应的字符串相似度、第一语义相似度和第二语义相似度进行加权求和,以确定出各目标语句与所述初始标题之间的相似度。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州大学,未经苏州大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810644268.7/1.html,转载请声明来源钻瓜专利网。





