[发明专利]视频场景识别方法、装置、电子设备及存储介质

说明书

本发明实施例提供一种视频场景识别方法、电子设备及存储介质。视频场景识别方法，包括：将待识别场景的目标视频输入至目标神经网络中，目标神经网络包括第一层结构和第二层结构，第一层结构用于根据目标视频确定关键人物的位置热力图像，关键人物在目标视频中的动作表征目标视频的候选识别场景类型；第二层结构用于根据目标视频以及关键人物的位置热力图像从候选识别场景类型中确定目标识别场景特征类型；根据目标神经网络输出的目标识别场景类型，对视频进行场景识别。本发明实施例提供的视频场景识别方法，由于目标神经网络可以结合局部特征以及全局信息，对于视频中包括多人活动的情况，可以识别该视频的二级场景。

技术领域

本发明涉及视频技术领域，尤其涉及一种视频场景识别方法、装置、电子设备及存储介质。

背景技术

在视频的分类过程中，需要使用到视频识别方法，以确定视频场景，视频场景可以在一定程度上表征该视频所表达的内容，比如当前视频是关于足球的点球场景的视频、还是关于足球的角球场景的视频，其中足球场景为该视频的一级场景，足球场景中的点球场景和角球场景为该视频的二级场景。

现有技术中的识别方法多关注于视频的一级场景识别，即仅可识别出该视频的一级场景，比如识别出该视频是关于篮球比赛的场景、足球比赛的场景或是排球比赛的场景，但是难以对该视频进行二级场景识别，比如难以对某篮球比赛的视频场景的二级场景例如扣篮场景、抢断场景或盖帽场景等进行识别。

发明内容

本发明实施例提供一种视频场景识别方法、装置、电子设备及存储介质，用以解决现有技术难以用于视频中包括多人活动的二级场景识别问题。

一方面，本发明实施例提供一种视频场景识别方法，包括：将待识别场景的目标视频输入至目标神经网络中，所述目标神经网络包括第一层结构和第二层结构，所述第一层结构用于根据所述目标视频确定关键人物的位置热力图像，所述关键人物在所述目标视频中的动作表征所述目标视频的候选识别场景类型；所述第二层结构用于根据所述目标视频以及所述关键人物的位置热力图像从所述候选识别场景类型中确定目标识别场景特征类型；根据所述目标神经网络输出的所述目标识别场景类型，对所述视频进行场景识别。

根据本发明的一个实施例，所述第一层结构包括第一子层结构以及至少一个第二子层结构；所述第一子层结构用于根据所述目标视频确定关键人物的位置热力图像；所述第二子层结构用于根据所述目标视频对所述第一子层结构输出的所述关键人物的位置热力图像进行优化；或所述第二子层结构用于根据所述目标视频对前一个所述第二子层结构输出的优化后的关键人物的位置热力图像进行再次优化。

根据本发明的一个实施例，基于损失函数训练得到所述第一层结构和所述第二层结构。

根据本发明的一个实施例，所述损失函数为公式

其中，Y₁、Y₂、Y₃分别表征所述第一子层结构、所述第二子层结构、所述第二层结构的输出，G表征输入的关键人物的位置热力图像的样本标签，T表征视频场景，N表征待识别场景的视频样本中的图像帧数，W表征待识别场景的视频样本中的图像长度，H表征待识别场景的视频样本中的图像宽度，表征第k个图像样本的输出Y₁中x坐标为i，y坐标为j的位置上的像素点的值，表征第k个图像样本的输出Y₂中x坐标为i，y坐标为j的位置上的像素点的值；是输入样本标签G中的第k个图像样本中x坐标为i，y坐标为j位置上的像素点的值；是T中第s维数据的值；是Y₃第s维数据的值，p和m为预设参数。

根据本发明的一个实施例，所述关键人物的位置热力图像中所述关键人物所在的像素点位置标记为1。