[发明专利]基于深度学习的视频搜索方法、存储介质、设备及系统有效
| 申请号: | 201810155479.4 | 申请日: | 2018-02-23 |
| 公开(公告)号: | CN108460122B | 公开(公告)日: | 2021-09-07 |
| 发明(设计)人: | 刘宇超;张文明;陈少杰 | 申请(专利权)人: | 武汉斗鱼网络科技有限公司 |
| 主分类号: | G06F16/732 | 分类号: | G06F16/732;G06F16/783;G06F16/71 |
| 代理公司: | 武汉智权专利代理事务所(特殊普通合伙) 42225 | 代理人: | 张凯 |
| 地址: | 430000 湖北省武汉市东湖开*** | 国省代码: | 湖北;42 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 基于 深度 学习 视频 搜索 方法 存储 介质 设备 系统 | ||
1.一种基于深度学习的视频搜索方法,其特征在于,包括:
在直播的每个视频分类中均选取设定数量的样本,所述样本为视频的帧画面,且每个样本标记有该帧画面的所属分类和该帧画面中所含内容的短语描述,所述短语描述为视频画面所展现的内容以及主播当前正在做的事情;
将所有样本输入NeuralTalk2中进行训练学习,得到训练后的深度学习模型;
将直播所有视频的帧画面输入深度学习模型中,深度学习模型对输入的每一帧画面所含内容输出内容相应的描述,所述深度学习模型对输入的每一个帧画面所含内容输出的描述为当前画面所含内容的短语描述;
对深度学习模型输出的每个视频所有帧画面的描述进行统计,并将出现频率较高的描述中的至少一个描述作为当前视频的索引;
当用户搜索时,根据用户输入的关键词匹配含有该关键词的索引,并将索引对应视频作为搜索结果展出;
其中,将直播的每一个视频,每间隔一设定时间采样一帧画面作为当前视频的输入样本,然后将输入样本输入深度学习模型中,深度学习模型对每个输入样本画面所含内容输出描述。
2.如权利要求1所述的一种基于深度学习的视频搜索方法,其特征在于:
所述直播的视频分类包括户外类、游戏类和唱歌跳舞类。
3.如权利要求1所述的一种基于深度学习的视频搜索方法,其特征在于:对深度学习模型输出的每个视频的输入样本画面的描述进行统计并依出现频率高低排序,按出现频率高低顺序将至少一个描述作为当前视频的索引。
4.一种存储介质,该存储介质上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现权利要求1至3任一项所述的方法。
5.一种设备,包括存储器和处理器,存储器上储存有在处理器上运行的计算机程序,其特征在于:所述处理器执行所述计算机程序时实现权利要求1至3任一项所述的方法。
6.一种基于深度学习的视频搜索系统,其特征在于,包括:
取样模块,其用于在直播的每个视频分类中均选取设定数量的样本,所述样本为视频的帧画面,且每个样本标记有该帧画面的所属分类和该帧画面中所含内容的短语描述,所述短语描述为视频画面所展现的内容以及主播当前正在做的事情;
学习模块,其用于将所有样本输入NeuralTalk2中进行训练学习,得到训练后的深度学习模型,然后将直播所有视频的帧画面输入深度学习模型中,深度学习模型对输入的每一帧画面所含内容输出内容相应的描述,最后对深度学习模型输出的每个视频所有帧画面的描述进行统计,并将出现频率较高的描述中的至少一个描述作为当前视频的索引,所述深度学习模型对输入的每一个帧画面所含内容输出的描述为当前画面所含内容的短语描述;
执行模块,其用于当用户搜索时,根据用户输入的关键词匹配含有该关键词的索引,并将索引对应视频作为搜索结果展出;
其中,将直播的每一个视频,每间隔一设定时间采样一帧画面作为当前视频的输入样本,然后将输入样本输入深度学习模型中,深度学习模型对每个输入样本画面所含内容输出描述。
7.如权利要求6所述的一种基于深度学习的视频搜索系统,其特征在于:所述直播的视频分类包括户外类、游戏类和唱歌跳舞类。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于武汉斗鱼网络科技有限公司,未经武汉斗鱼网络科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810155479.4/1.html,转载请声明来源钻瓜专利网。





