[发明专利]一种基于图模型比对的视频搜索方法

说明书

本发明公开了一种基于图模型比对的视频搜索方法，当语音输入转文字后，将欲搜索之多媒体资源和文本信息都转化为图模型，来分析文本细节和多媒体资源细节，通过图模型的相似度比对来实现多媒体视频的搜索判定；通过利用多资源的结合利用尤其是先导资源的运用，可以更为即时地对视频进行评分，多种资源结合对应着网络结构的设计，从而实现模型本身自己良好的鲁棒性，通过对先行资源的利用，视频推荐系统将得到进一步的优化。

技术领域

本发明涉及多媒体资源检索技术领域，尤其涉及一种基于图模型比对的视频搜索方法。

背景技术

当今市场发展日新月异，为紧跟消费者的需求，目前很多公司正希望能够推出相关的智能视频，音乐搜索服务。然而，因为网络视频的数据量成几何增长，如何在互联网上的海量视频中快速寻找到符合用户需求的视频成为一个棘手的问题。目前，视频搜索的主要途径包括搜索引擎间接搜索以及影视客户端搜索等。搜索方法主要是基于视频的影片名、演员及导演等关键词搜索，或者是基于影视分类的视频搜索，展现的单元也是视频整体，如电视剧分集播放，电影按照整部影片长度等。而现有技术的准确率表现并不理想，特别语音输入转文字后，基于文字的多媒体资源搜索还可以进一步优化。

现有的智能终端有两种已有的方法：

1)不利用人工智能的方法，直接进行模糊搜索匹配，但是这样的方法不能通过多媒体资源本身的特征(语音、图片)进行搜索与推荐，因此恶化了拥有这类需求的用户的体验。

2)利用简单的提取文字和图片特征来提取出相关特征图，依据特征图进行进一步的匹配。然而这种方法效果很难进一步提升，且准确率显示还有很大的上升空间。

以上两种方法有着自己曾经效果较好的应用领域：比如用户语音搜索《琅琊榜》电视剧时，对于模糊匹配搜索，目前的搜索方法须已知道电视剧名称，语音喊“我要看琅琊榜”或者在搜索框里打出“我要看琅琊榜”，设备收到文本信息，分析语义后，搜索到对应电视剧琅琊榜；对于特征搜索，用户可能只会记住某个特征和曾经的截图，比如胡歌刚出道演的电视剧，当他(她)通过语音喊“我要看胡歌出道演的第一部电视剧”时，设备因无法理解到这个语义搜索不到。

当用户语音喊：“我想看一名白衣男子从天而降，顿时惊霎四座的电视剧”。对于包含相关资源的电视剧，以上两种方法都显得无能为力，第一种办法对此无法匹配电视剧，第二种方法无法匹配动作效果。

发明内容

本发明的目的就在于为了解决上述问题而提供一种基于图模型比对的视频搜索方法，当语音输入转文字后，将欲搜索之多媒体资源和文本信息都转化为图模型，来分析文本细节和多媒体资源细节，通过图模型的相似度比对来实现多媒体视频的搜索判定。具体方法：首先将输入的语音或者文本信息进行预处理，对于本身含有语病的句子直接抛弃不要。之后的工作就是对于文本和数据库中待搜索的视频资源进行相关图的相似度比对。其中文本和视频的构图方法将在下文中详述，都是利用相关神经网络进行辅助。文本信息中将利用已有工具进行句法分析辅助，图像网络将利用Faster-RCNN进行目标检测辅助，从而构建相关图。

本发明通过以下技术方案来实现上述目的：

一种基于图模型比对的视频搜索方法，包括以下步骤：

步骤1，对语音中的文本信息进行构图：

将相关语句输入进Stanford Parser，对输出的的句子成分之中不满足主语+谓语结构的语句直接删除，同时将结果进行文本信息构图；

步骤2，对视频进行视频信息构图：

对每一个图像帧都进行目标检测，将图像资源转化成主语+谓语的形式，之后对分类的结果进行进行视频信息构图；

步骤3，对文本信息构图和视频信息构图进行相似度对比：