[发明专利]基于时间一致性对比学习的动作规范性检测方法和装置

权利要求书

1.一种基于时间一致性对比学习的动作规范性检测方法，其特征在于，包括以下步骤：

步骤一，构建第一数量标注和第二数量未标注的摄像头采集视频的数据集，第一数量小于第二数量；

步骤二，对第二数量未标注视频数据进行强、弱增强处理，分别得到强、弱增强数据；

步骤三，将强、弱增强数据输入自编码特征提取网络中提取出强、弱增强数据的特征；

步骤四，将强、弱增强数据的特征输入时间一致性行为动作对齐网络，得到强、弱增强图像特征，后在由强、弱增强图像特征构成的图像特征序列对间查找相似动作最近邻帧并对齐，得到图像特征序列对间相似动作起始帧和结束帧集合；

步骤五，将强、弱增强图像特征和图像特征序列对间相似动作起始帧和结束帧集合输入时空判别性特征提取网络，结合对比学习网络，完成对第二数量未标注视频数据的自监督预训练；

步骤六，利用自监督预训练后的自编码特征提取网络参数，在自编码特征提取网络后加入分类网络，然后采用第一数量标注视频数据完成网络迁移学习，最后通过视频帧间行为类别的变化判断视频图像的动作规范性。

2.如权利要求1所述的基于时间一致性对比学习的动作规范性检测方法，其特征在于，所述步骤二具体为：

设无剪切视频数据为，为第i帧视频，为总的视频帧数，从视频X中采样得到的图像序列，其中是高宽为H×W的RGB图像，，为采样频率，经过数据增强后，强增强后的图像序列为，即强增强数据，弱增强后的图像序列为，即弱增强数据；

其中，其中弱数据增强方式为颜色增强结合尺度变换，强数据增强方式为视频片段置换结合尺度变换；视频片段置换为：将视频分割为不大于M的任意段，且随机打乱分割后的片段。

3.如权利要求2所述的基于时间一致性对比学习的动作规范性检测方法，其特征在于，所述步骤三具体为：

使用3D ResNet50作为自编码器即自编码特征提取网络，将和经过3DResNet50自编码器，映射得到高维特征，其中表示或，，为3D ResNet50函数，，为输出特征向量维度，即通过自编码器后分别得到强增强数据的特征和弱增强数据的特征。

4.如权利要求3所述的基于时间一致性对比学习的动作规范性检测方法，其特征在于，所述步骤四包括以下子步骤：

步骤4.1，将强增强数据的特征和弱增强数据的特征经过时空全局平均池化层、全连接层和卷积层，输出图像特征序列和，其中为第i帧强增强图像特征，为第i帧弱增强图像特征；

步骤4.2，对于步骤4.1输出的图像特征序列和，所述的图像特征序列在彼此间查找相似动作最近邻帧，首先计算第i帧强增强图像特征在中的最近邻帧，得到后再反向计算在中的最近邻帧，若i=k则图像特征序列对间相似动作对齐成功；为计算损失函数，将中第i帧标记为1，其余帧标记为0，预测值，其中，， 表示图像特征序列中的第k帧强增强图像特征，并利用交叉熵损失函数计算预测值与真实标签之间的损失：

， ,

，

其中和分别表示图像特征序列中的第j和k帧弱增强图像特征，表示和间的相似度度量函数， 表示真实标签， 表示预测值；

步骤4.3，将步骤4.2中图像特征序列对中i=k的特征位置进行记录，针对输入图像特征序列对，记录i=k位置组成相似动作起始帧集合和动作结束帧集合，其中N为对齐成功的图像特征序列对数，和分别表示图像特征序列对齐起始位置，和分别表示图像特征序列对齐结束位置。