[发明专利]一种针对视频运动目标的主题挖掘及行为分析方法

说明书

本发明涉及图像处理领域，公开了一种针对视频运动目标的主题挖掘及行为分析方法，包括步骤：S1)获取视频帧序列，提取视频帧序列的特征矩阵；S2)利用特征矩阵进行主题挖掘，获得主题矩阵；S3)利用所述主题矩阵对视频帧序列进行行为分析，获得视频运动目标的行为类别。本发明提取视频帧中具有显著变化的图像区域，进而构建视频表达，能准确捕捉视频中目标的运动属性。另外，本发明采用基于流式的非负矩阵分解算法，利用权值矩阵以及约束条件优化求解函数，挖掘主题摘要，更加准确表达视频帧之间的时间关联信息。本发明还提出了一种基于双流卷积网络的行为多分类模型，获得针对挖掘的主题的行为标签，提高了分类准确率。

技术领域

本发明涉及图像处理领域，具体地涉及一种针对视频运动目标的主题挖掘 及行为分析方法。

背景技术

近年来，随着互联网的快速发展，大量的视频信息逐渐成为人们感知外界 事物的重要媒介，例如直播平台、监控流等。由于视频中的场景与内容目标错 综复杂以及视频时长的因素，加之视频本身无法像文本一样提供概览，视频本 身也包含大量的冗余空白信息，人们难以在较短时间内对一个视频源进行高效 的分析，需消耗大量的人力以及时间成本。一般地，视频中的主体目标在运动 时更能体现视频本身的信息，为此，如何能够准确挖掘视频中目标以及运动属 性，并对其行为分析是亟需解决的问题。现有的技术中，视频摘要主要采用关 键帧等方法，通过分类算法捕获图像中的色域空间信息，但这种算法仅仅是得 到单张图，并不能够获得运动目标以及对应的行为属性。另外，虽然在关键帧 基础上可以对其进行窗滑动，得到视频片段，但由此得到的摘要片段难以保证 片段中是否包含准确的信息。

比如，国家专利公开文献CN108848422A，公开了一种基于目标检测的视频 摘要生成方法，该发明在训练阶段获取包含2种以上的目标物体的图片集作为 训练数据集并进行标注，建立深度学习网络并利用训练数据集对网络进行训练， 得到训练完毕的深度学习网络。在使用阶段，获取一段视频，将视频进行分帧 并将视频帧输入训练完毕的网络，网络输出每一帧视频帧所包含目标物体的特 征向量、目标物体对应的位置向量和包含该目标物体视频帧原图。通过对所有 特征向量进行聚类，最终得到视频摘要的结果。虽然该发明公开了基于目标检 测的视频摘要生成方法，但是这种方法仅仅是对整个视频中目标进行识别进而 聚类得到摘要，无法准确描述一个视频中目标运动行为等关键摘要信息。

发明内容

本发明提供一种针对视频运动目标的主题挖掘及行为分析方法，从而解决 现有技术的上述问题。

一种针对视频运动目标的主题挖掘及行为分析方法，包括以下步骤：

S1)获取视频帧序列，提取视频帧序列的特征矩阵Y；

S2)利用特征矩阵Y进行主题挖掘，获得主题矩阵w；

S3)利用主题矩阵w对视频帧序列进行行为分析，获得视频运动目标的行 为类别。

进一步的，步骤S1)中，获取视频帧序列，提取所述视频帧序列的特征矩 阵Y，包括以下步骤：

S11)获取包含视频运动目标运动的视频帧序列I(x,y,t)，将视频帧序列 I(x,y,t)切分为N个视频帧片段，x、y分别表示空间维度中的x坐标和y坐标，t 表示时间；

S12)对视频帧序列I(x,y,t)进行高斯卷积，获得视频帧序列I(x,y,t)的高斯卷积结果其中σ²,τ²分别为视频帧序列I(x,y,t)空间维度和时间维度的方差，f(·)为将视频帧序列I(x,y,t)映射到图像序 列中的对应像素点的映射函数；

S13)根据视频帧序列I(x,y,t)的高斯卷积结果计算三维时空二阶矩矩阵；