[发明专利]一种融合多模态特征的网球视频事件检测方法

说明书

本发明公开了一种融合多模态特征的网球视频事件检测方法，包括：文本信息提取：比分牌定位与分割、比分信息提取；视觉特征提取：镜头边界检测、镜头分类、回放镜头检测；视频结构划分、网球视频领域知识分析、事件检测。本发明融合比分信息与视频视觉特征，并结合网球比赛领域知识，实现了网球视频的事件检测工作，解决了用户观看网球视频时需要快速定位自己感兴趣内容的需求，从而减少了用户的浏览时间，为视频摘要生成等工作提供便利。

技术领域

本发明属于视频检索技术领域，更具体地，涉及一种融合多模态特征的网球视频事件检测方法。

背景技术

视频语义分析一直是多媒体研究领域的热点问题。体育比赛视频作为一类重要的视频资源，因其规则固定、种类众多、关注度高、商业价值大等众多因素而得到研究人员的广泛关注。互联网技术迅速发展，网络上的视频资源呈现爆炸式的增长，而随着生活节奏的加快，人们希望能在闲暇时快速定位自己感兴趣的体育视频内容，视频语义分析与事件自动检测就是解决这一问题的关键。

跟足球和篮球等老牌体育运动的受欢迎程度相比，网球运动的关注者相对较少。但是，随着大众体育的发展以及国际网球运动的影响，近些年，网球在我国发展迅速，越来越多的人开始关注网球比赛，每年的四大满贯比赛、各种大师赛，吸引了很多球迷的眼球。一场完整的国际网球比赛，少则一个多小时，多则三四个小时，人们由于紧张的生活而无暇完整地观看一整场比赛，并且关注点不同，不同的观众可能只想观看自己感兴趣的部分，比如有人喜欢看ace球，有人喜欢多拍，有人热衷于抢七局等。此外，一些专业运动员或者教练员，可能只关注有技术含量的对攻，希望能通过研究其他运动员的比赛策略，来帮助自己提高水平或者制定比赛方案。为了满足这些迫切的需求，网球视频语义事件的自动检测就成为近些年多媒体领域研究人员越来越关注的问题。

目前已经有很多的专家学者展开了对网球视频事件检测工作的研究，也提出了许多的思路和方法。从最初视觉单一模态的特征分析方法，到融合音频、文本多模态特征的视频分析方法；从结合领域特征的检测方法，到利用通用模型的检测方法，网球视频事件检测技术得到了极大的发展。但是，目前仍然缺乏一种比较系统的网球视频事件检测方法。

发明内容

针对现有技术的以上缺陷或改进需求，本发明的目的在于提供了一种融合多模态特征的网球视频事件检测方法，由此解决目前的网球视频事件检测技术不能系统有效的对网络视频事件进行检测的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种融合多模态特征的网球视频事件检测方法，包括：

(1)获取网球视频中的比分牌位置信息，由比分牌位置信息得到比分牌中球员名字的位置信息以及比分数字的位置信息，由球员名字的位置信息以及比分数字的位置信息确定发球指示符的位置信息；

(2)由发球指示符的位置信息、球员名字的位置信息以及比分数字的位置信息对包含比分牌的样本帧图像进行识别确定球员名称、比分序列以及发球指示符所对应的球员；

(3)将网球视频进行分段得到候选段，利用候选段结合SVD降维特征向量进行镜头边界检测；

(4)使用主色率和边缘像素率对包含比分牌的图像帧序列进行镜头类型划分，其中，镜头类型包括play镜头和break镜头；

(5)从不含比分牌的图像帧序列中根据渐变序列检测回放镜头；

(6)根据网球比赛视频编辑特点，对网球视频划分事件段；

(7)融合发球指示符信息、球员名称、比分序列、镜头边界检测结果、镜头分类结果、回放镜头检测结果以及网球比赛的领域知识本信息对事件段进行事件检测，确定事件类型。

优选地，所述将网球视频进行分段得到候选段，包括以下步骤：