[发明专利]一种基于TSN网络的视频画面抖动检测方法

说明书

本发明属于视频质量检测技术领域，具体涉及一种基于TSN网络的视频画面抖动检测方法，包括步骤：基于TSN网络结构，利用TVL1光流算法提取正常光流场和扭曲光流场；将所述正常光流场和扭曲光流场输入到TSN网络中；通过TSN网络判断视频是否抖动，并输出抖动的帧号。基于TSN网络的视频抖动检测，可以克服传统算法不能适应环境变化和长时间范围的视频检测，还可以在减少计算量大小的同时保持非常高的检测性能；TSN网络中提出的扭曲光流能够抑制视频中人物或其他事物运动的干扰，从而进一步使得检测抖动更加精准。

技术领域

本发明属于视频质量检测技术领域，具体涉及一种基于TSN网络的视频画面抖动检测方法。

背景技术

随着平安城市，大安防的快速发展，监控系统在各个领域得到广泛应用，而监控系统所传输的视频质量是影响其是否能发挥作用的重要因素，因此如何高效率的去维护监控系统是视频监控领域急迫需要解决的的问题。视频画面抖动是监控系统中经常出现的一种故障，所谓视频画面抖动通常是由于摄像头固定不牢固或者其它外力以及人为的作用造成视频画面出现规律性的上下、左右、或上下左右的抖动，影响视觉效果。目前常用的视频画面抖动的检测方法都是基于传统的方法，而其中使用较多的就是灰度投影法和光流法，灰度投影法其实是一种对图像分布特征进行简化提取的一种操作，以二维图像的像素行和列为单位，将图像特征转化为沿行、列坐标的曲线，从而更容易对图像分布特征进行计算，但其只适用于固定场景及简单条件下视频抖动检测且准确性相对较差；而光流法就是首先提取视频的特征点，然后利用光流算法对特征点进行跟踪，故光流非常依赖于特征点的检测好坏，如果当前环境没有办法找到比较多的角点，那估算出的位移就会比较不正确，如果想要获得比较好的效果则计算量比较大，并且光流对实际环境中移动的物体非常容易产生错误的估计，鲁棒性较差，且其不适用长时间范围和复杂环境下的视频抖动检测。

现有的一些技术基本都是基于传统的方法，但传统算法的泛化效果一般都比较差，通常是一套阈值或者一套规则只适用于特定的场景，改变场景时算法的准确率会受下降甚至失效。但应用场景和环境是千变万化的，这对传统算法来说实现起来会大大增加难度。例如江爱文等提出一种基于前－后向光流点匹配运动熵的视频抖动检测算法，该算法首先采用ORB(oriented FAST and rotated BRIEF)算法提取视频的特征点，然后利用前向－后向光流算法对特征点进行跟踪，该算法具有很强的实时处理能力，但其存在两个问题：①光流算法对光照变化敏感且不适用于长时间跟踪，算法不适用于复杂环境下的视频抖动检测；②只判断视频是否存在抖动，不能输出抖动产生的帧序号。

发明内容

为了解决现有技术中存在的技术缺陷，本发明提出了一种基于TSN网络的视频画面抖动检测方法。

本发明通过以下技术方案实现：

一种基于TSN网络的视频画面抖动检测方法，其包括步骤：

1)基于TSN网络结构，利用TVL1光流算法提取正常光流场和扭曲光流场；

2)将所述正常光流场和扭曲光流场输入到TSN网络中；

3)通过TSN网络判断视频是否抖动，并输出抖动的帧号。

进一步地，所述TSN网络由空间流卷积网络和时间流卷积网络构成。

进一步地，将所述正常光流场和扭曲光流场作为输入，用于捕获运动信息，当实时拍摄的视频中移动物体过多时，通过所述扭曲光流场抑制物体运动，使其专注于视频中的背景运动。

进一步地，在所述步骤3)中，所述TSN网络判断包括：给定一段视频V，将V按相等间隔分为K段{S₁，S₂，...,S_K}之后，TSN网络按如下方式对一系列片段建模：