[发明专利]一种多模态信息融合的足球视频事件检测与语义标注方法

摘要

本发明公开一种多模态信息融合的足球视频事件检测与语义标注方法，包括利用潜在语义分析方法检测互联网赛况报道文本描述语句的事件类型；检测足球视频中级语义对象，划分场地区域并进行攻防转换分析，确定视频事件片段的边界；根据中圈和哨声检测结果确定比赛开始时间，利用贝叶斯网络实现攻防片段的初始语义分类；在文本描述中的粗粒度时间信息的约束下，根据文本和视频片段的语义同步文本描述和视频事件，实现足球视频事件的语义标注。本发明方法融合互联网文本信息和视频内在视听特征分析足球视频，提高了视频事件及其边界检测的准确率，实现了足球视频内容的富语义标注，为建立基于语义的视频索引机制打下坚实的基础。

主权项

一种多模态信息融合的足球视频事件检测与语义标注方法，其特征在于，包括以下步骤：(1)从互联网上爬取足球比赛对应的赛况报道文本，利用预先建立的LSA模型计算赛况报道文本中各语句的潜在语义空间查询向量；并计算该查询向量与各种文本事件类型的潜在语义空间向量的余弦相似度，将其归类为具有最大相似度的事件类别；所述步骤(1)中利用预先建立的LSA模型计算赛况报道文本中各语句的潜在语义空间查询向量，具体包括：步骤(1.1.1)：将互联网上爬取的赛况报道文本作为训练语料，对所有的训练语料进行分词；步骤(1.1.2)：去除训练语料中的无关词汇，包括停词、球员和球队名词；步骤(1.1.3)：构建词条‑文档矩阵Xm×n；其中矩阵Xm×n的行对应词条，列对应事件文档，即m表示词条的数目，n为语料库中事件类型的数目，Xm×n中每个元素为词条在其对应事件类型中的tf‑idf权重，tf表示词条在相应事件训练语料中出现的频次，idf为词条的倒排文档频率；步骤(1.1.4)：利用下式对词条‑文档矩阵Xm×n进行奇异值分解；Xm×n=Tm×n×Sn×n×Dn×nT]]>式中，T为列正交矩阵，T中的每一列称为左奇异向量；S为对角矩阵，其对角线上的元素为由大到小降序排列的非负奇异值；D为正交矩阵；步骤(1.1.5)：选取矩阵Sn×n的前k个最大奇异值，k＜n，并选取前k个最大奇异值分别对应于矩阵Tm×n和矩阵Dn×n中的列向量，通过下式计算词条‑文档矩阵Xm×n的低阶近似矩阵X^m×n=Tm×k×Sk×k×Dn×kT]]>步骤(1.1.6)：构建训练语料事件集的潜在语义矩阵En×k如下：En×k＝Dn×k×Sk×kEn×k的每一行即表示相应类型的事件在潜在语义空间中的坐标；(2)检测足球比赛对应视频中的多种中级语义对象，所述中级语义对象包括球门、球场标志线、中圈以及哨声；并划分场地区域；(3)根据场地区域划分结果进行攻防转换分析，确定视频事件片段的边界；(4)根据中圈和哨声检测结果确定比赛开始时间，利用贝叶斯网络实现攻防视频事件片段的初始语义分类；(5)在文本描述中的粗粒度时间信息的约束下，根据步骤(1)中得到的文本事件类型和步骤(4)中得到攻防视频事件片段的初始语义分类同步文本描述和视频事件片段，实现足球视频事件的富语义标注。