[发明专利]一种视频中滚动字幕的自动检测和识别方法

权利要求书

1.一种视频中滚动字幕的自动检测和识别方法，其特征在于，包括以下步骤：

(1)检测视频帧图像中的字幕区域，判断含有的字幕是否为滚动字幕，若为滚动字幕则进一步判断其是水平滚动还是垂直滚动；

该步骤利用字幕区域的位置信息、边缘分布信息以及相似度信息来判断是否为垂直滚动字幕；首先判断连续两帧视频图像的字幕区域是否有相交区域，而且相交区域的面积需要满足公式一：

Overlap(B_a,B_b)>r₁×Max(area(B_a),area(B_b))，

其中，B_a，B_b表示连续视频帧中检测到的两个字幕区域，Overlap(B_a,B_b)表示B_a与B_b相交区域的面积，r₁的取值范围为0到1，area(B_a)与area(B_b)分别表示B_a与B_b的面积；如果公式一条件成立，则继续进行垂直滚动字幕的判定；否则，进行下一步水平滚动字幕的判定；B_a与B_b判定为相交后，将B_a区域在垂直方向上移动offset偏移量，计算B_a与B_b相交区域的相似度，目的是得到能够使得相似度最大的偏移量offset；相似度的计算采用公式二：

$Similar(B_a,B_b)=\frac{Sum\left(Same\right(B_a,B_b\left)\right)}{Overlap(B_a,B_b)},$

其中，Same(B_a,B_b)表示B_a与B_b相交区域二值化后，对应像素点的值是否相同，相同则其值为1，否则值为0；Sum(Same(B_a,B_b))表示B_a与B_b相交区域二值化后具有相同像素值的像素点的总数，计算得到的offset即为垂直滚动字幕的垂直运动速度，offset值大于0则为垂直滚动字幕；

(2)基于步骤(1)检测到的多帧连续包含垂直滚动字幕的视频图像，采用自适应检测窗口对检测到的字幕区域进行过滤，将相同字幕的多帧视频图像的字幕区域根据背景和文字信息，选择其中一帧作为OCR识别软件的输入；

(3)基于步骤(1)检测到的多帧连续包含水平滚动字幕的视频图像，将多帧图像拼接为一帧包含完整滚动字幕的视频图像，将该帧视频图像作为OCR识别软件的输入。

2.如权利要求1所述的方法，其特征在于，步骤(1)通过生成累积边缘图和文字区域定位与过滤，检测视频帧中是否包含字幕，并定位到字幕文字区域的位置。