[发明专利]基于深度学习的足球比赛行为识别方法、装置及终端设备

权利要求书

1.一种基于深度学习的足球比赛行为识别方法，其特征在于，包括：

获取待识别的足球比赛视频；

将所述足球比赛视频划分为N个视频段，并从各个视频段中分别抽取一帧图像作为输入图像，N为大于1的整数；

使用预设的深度学习网络模型对所述输入图像进行处理，得到与所述足球比赛视频对应的行为识别结果，其中，所述深度学习网络模型由Inception网络模型和三维ResNet网络模型级联组成，所述Inception网络模型用于学习所述输入图像每一帧中的像素点之间的关系，所述三维ResNet网络模型用于学习所述输入图像各帧之间的关系；

所述Inception网络模型由M个Inception模块级联组成，其中，第m个Inception模块的数据处理过程包括：

根据下式获取第m个Inception模块的输入数据：

其中，1≤m≤M，M为大于1的整数，InputImage为所述输入图像，OutputInception_m-1为第m-1个Inception模块的输出数据，InputInception_m为第m个Inception模块的输入数据；

采用CN个不同尺度的卷积核分别对第m个Inception模块的输入数据进行卷积操作，提取出第m个Inception模块的输入数据在各个不同尺度下的特征数据，CN为大于1的整数；

对第m个Inception模块的输入数据进行池化处理，提取出第m个Inception模块的输入数据的池化数据；

将第m个Inception模块的输入数据的池化数据以及在各个不同尺度下的特征数据合并为第m个Inception模块的输出数据。

2.根据权利要求1所述的足球比赛行为识别方法，其特征在于，所述三维ResNet网络模型由R个三维卷积模块级联组成，其中，第r个三维卷积模块的数据处理过程包括：

根据下式获取第r个三维卷积模块的输入数据：

其中，1≤r≤R，R为大于1的整数，InputResNet为所述三维ResNet网络模型的输入数据，也即所述Inception网络模型的输出数据，OutputConv_r-1为第r-1个三维卷积模块的输出数据，InputConv_r为第r个三维卷积模块的输入数据；

对第r个三维卷积模块的输入数据进行空间卷积操作，提取出第r个三维卷积模块的输入数据的空间特征数据；

对第r个三维卷积模块的输入数据的空间特征数据进行时间卷积操作，提取出第r个三维卷积模块的输入数据的时空特征数据。

3.根据权利要求1所述的足球比赛行为识别方法，其特征在于，所述从各个视频段中分别抽取一帧图像作为输入图像包括：

从所述足球比赛视频的第1个视频段中任意抽取一帧图像作为第1帧输入图像；

分别计算所述足球比赛视频的第n个视频段中的各帧图像与第n-1帧输入图像之间的图像相似度，2≤n≤N；

从第n个视频段中的各帧图像中选取与第n-1帧输入图像之间的图像相似度最小的一帧图像作为第n帧输入图像。

4.根据权利要求1至3中任一项所述的足球比赛行为识别方法，其特征在于，所述深度学习网络模型的训练过程包括：

从预设的数据库中获取训练样本集合，所述训练样本集合中包括各个训练样本，且每个训练样本均包括从一个足球比赛视频中抽取的样本输入图像以及与所述样本输入图像对应的行为类别；

使用所述训练样本集合对所述深度学习网络模型进行训练，在训练过程中，将各个训练样本中的样本输入图像作为输入，与所述样本输入图像对应的行为类别作为目标输出，并使用如下式所示的损失函数：

Loss(p_t)＝-(1-p_t)^γlog(p_t)

其中，p_t为交叉熵损失函数的指数函数，γ为预设的比例系数，Loss(p_t)为所述损失函数。