[发明专利]一种融合多模态特征的网球视频事件检测方法

权利要求书

1.一种融合多模态特征的网球视频事件检测方法，其特征在于，包括：

(1)获取网球视频中的比分牌位置信息，由比分牌位置信息得到比分牌中球员名字的位置信息以及比分数字的位置信息，由球员名字的位置信息以及比分数字的位置信息确定发球指示符的位置信息；

(2)由发球指示符的位置信息、球员名字的位置信息以及比分数字的位置信息对包含比分牌的样本帧图像进行识别确定球员名称、比分序列以及发球指示符所对应的球员；

(3)将网球视频进行分段得到候选段，利用候选段结合SVD降维特征向量进行镜头边界检测；

(4)使用主色率和边缘像素率对包含比分牌的图像帧序列进行镜头类型划分，其中，镜头类型包括play镜头和break镜头；

(5)从不含比分牌的图像帧序列中根据渐变序列检测回放镜头；

(6)根据网球比赛视频编辑特点，对网球视频划分事件段；

(7)融合发球指示符信息、球员名称、比分序列、镜头边界检测结果、镜头分类结果、回放镜头检测结果以及网球比赛的领域知识本信息对事件段进行事件检测，确定事件类型；

步骤(5)具体包括以下子步骤：

(5.1)取一段不含比分牌序列，若该序列长度超过length，则取下一段，否则执行步骤(5.2)；

(5.2)将该段分成前后两部分，分别为fseg和bseg；

(5.3)以预设数量的帧为滑动窗口从fseg取帧，构建特征向量；

(5.4)使用SVD降维特征向量，按照余弦公式计算相邻帧间相似度和首尾帧间相似度G，得到该段的平均相似度avgSimilarity；

(5.5)若G≤第十预设值∪(G>第十一预设值∩G<第十二预设值∩avgSimilarity<第十三预设值)，则该段是渐变序列，记录渐变开始，执行步骤(5.6)，如果fseg没有满足以上公式的序列，则执行步骤(5.7)；

(5.6)跳转执行步骤(5.3)按倒序处理后半段bseg；

(5.7)在渐变序列集合中检查在fseg中是否存在渐变结果，如果存在，则记录渐变开始，执行步骤(5.6)，否则该不含比分牌序列不存在回放镜头，执行步骤(5.1)。

2.根据权利要求1所述的方法，其特征在于，所述将网球视频进行分段得到候选段，包括以下步骤：

(A1)以M帧为间隔将网球视频分为L((M-1)n，(M-1)(n+1))段，计算每段首尾帧的HSV颜色直方图差作为段距d((M-1)n,(M-1)(n+1))，将段距表示为d^(M-1)(n)，n≥0；

(A2)以N段为一组，将所有段分组，计算每一组的阈值T_L，每一个d^(M-1)(n)与其所在组的阈值进行比较，若d^(M-1)(n)>T_L，则该段为候选段，若当前段与前后段满足

(d^(M-1)(n)>3d^(M-1)(n-1)∪d^(M-1)(n)>3d^(M-1)(n+1))∩d^(M-1)(n)>0.8μ_G，则将当前段作为候选段，得到所有的候选段集合S1，其中，μ_G为预设值；

(A3)对S1中的每一个候选段进行二分，同时计算二分后的前后半段的段距，分别为和与d^(M-1)(n)进行比较，若则将二分后的前半段作为候选段；若则将二分后的后半段作为候选段；若则二分后的前后半段均不是候选段；由此得到候选段集合S2；

(A4)对S2中的所有候选段进行二分，并执行步骤(A3)，得到长度为的段作为切变候选段，长度超过的段作为渐变候选段。