[发明专利]一种无监督聚类与时空域深度网络相结合的篮球视频群体行为识别方法

权利要求书

1.一种无监督聚类与时空域深度网络相结合的篮球视频群体行为识别方法，其特征在于，包括以下步骤：

1)、运动场特征表达

运动场是运动信息表示和结构化数据建模的理想数据形式；用光流来表示运动场；PWC-Net估计的光流场包含两个通道，分别表示水平方向x方向和垂直方向y方向对应的像素位移；设计运动特征直方图特征来描述运动数据，根据像素点的运动幅度和运动方向将每个点量化，用9个类别表达量化空间；对运动场中所有量化点进行类别统计，提出统计特征运动特征直方图；运动特征直方图表达了不同类别的分布；

对图片进行分块，分别按顺序统计每块图片区域的运动特征直方图并连接起来作为整幅图片的运动特征直方图；

2)、基于无监督聚类的标签生成

基于提取的运动特征直方图进行层次聚类，取训练集中的几场比赛视频做层次聚类，对每个类别中的特征取平均值作为这个类别的基准特征，基准特征可以很好的代表这个类别；对于任意一张输入图片，计算其运动特征直方图，然后和每个类别的基准特征比较，计算运动特征直方图和各类基准特征的余弦距离，余弦距离数值最小所对应的基准特征类即为图片所属类，基准特征类标签即为图片标签，以此实现图片自动标注标签；

3)、基于LSTM的群体活动识别方法

采用ConvLSTM结构进行时空数据建模和群体活动识别；利用VGG-11结构，在每一个卷积层之后都使用batch normalization层来表示运动场的特征；通过基于无监督聚类的标签生成方法，确定每个输入运动场的监督信号；通过深度神经网络结构，提取运动场的语义级特征表示，进一步进行时间建模；提取VGG-11网络中第二个全连接层的特征向量作为运动场的表示；然后利用长短时记忆网络LSTM对视频片段中连续时间节点的运动场特征进行整合，进一步进行群体活动推理；

数据采用的是NCAA篮球数据集；采用卷积神经网络CNN与长短期记忆网络LSTM相结合的模型架构进行时空域数据建模和篮球视频中的群体活动识别；在卷积神经网络部分，采用VGG-11结构进行图像特征表达；首先，通过步骤2中基于无监督聚类的标签生成方法，确定每个输入运动场的监督信号，并基于此标签信息进行模型训练；在网络训练过程中，训练集数据为150场比赛的共计30000张运动场图片数据，测试集数据为33场篮球比赛中共计8296张运动场图片，训练批次大小设置为64，采用Adam学习率更新策略，初始学习率设置为0.001，输入运动场图像尺寸为2*224*224；模型训练完成后，运动场图像输入到VGG-11深度神经网络，提取运动场的语义级特征表示，采用VGG-11网络中第二个全连接层的特征向量作为运动场的特征表达，向量维度为1*4096；

采用长短时记忆网络LSTM对视频片段中连续时间节点的运动场特征进行整合，进一步进行群体活动推理；网络输入为VGG-11网络提取出的运动场特征表达向量，在网络训练过程中，训练集数据为212场比赛中共计9641个视频段，测试集数据为33场篮球比赛中共计2152个视频段，训练批次大小设置为32，采用Adam学习率更新策略，初始学习率设置为0.001；在测试阶段，模型的输入为连续16帧运动场图像对应的特征向量，输入数据维度为16*4096；LSTM隐层神经元数量设置为2048，分类层神经元数量设置为6。

2.根据权利要求1所述的方法，其特征在于运动场特征表达具体为：

通过端到端深度网络；输入数据为连续篮球视频帧，图片大小为490*360和720*1280两种规格，输出的光流图大小与输入数据尺寸相同；在输出的光流场数据基础上进行彩色编码，即将光流场幅度值转化为三通道[0-255]RGB图像；设计运动特征直方图特征来描述运动数据，根据像素点的运动幅度和运动方向将每个点量化，用9个类别表达量化空间；对运动场中所有量化点进行类别统计，提出统计特征运动特征直方图；运动特征直方图表达了不同类别的分布。

3.根据权利要求1所述的方法，其特征在于：

基于提取的运动特征直方图进行层次聚类，取训练集中的5场比赛共95个视频段做层次聚类，对每个类别中的特征取平均值作为这个类别的基准特征，对于任意一张输入图片，计算其运动特征直方图，然后和每个类别的基准特征比较，计算运动特征直方图和各类基准特征的余弦距离，余弦距离数值最小所对应的基准特征类即为图片所属类，基准特征类标签即为图片标签，以此实现图片自动标注标签。