[发明专利]基于帧间信息的视频文字处理方法

说明书

技术领域

本发明属于视频图像处理应用领域，具体涉及一种基于帧间信息的视频文字处理方法。

背景技术

视频图像处理中，文字提取以及图像信息修复都有着十分广泛的应用前景，因此，近年来也越来越受到人们的重视。

然而目前自动定位图像中文本区域的方法对于某些复杂背景中的文字也很难做到完整的检测与提取。目前的图像修复算法主要可以分成两大类基于PDE的修复方法和基于纹理的修复方法。主要分别体现了推测与寻优两种不同的思路。这些方法往往基于图像处理，忽略了视频帧在时间上的相关性，从而导致修复结果不准确，且修复结果在播放时容易出现闪烁，跳变等现象。

发明内容

本发明的目的在于提供一种基于帧间信息的视频文字处理方法，其能够解决现有方法中修复结果不准确、且修复结果在播放时容易出现闪烁，跳变等问题。

本发明是通过以下技术方案实现的：

一种基于帧间信息的视频文字处理方法，包括如下步骤：

(1)检测当前图像的文本区域R(x，y，t)，设当前图像为f(x，y，t)，其前面的N幅图像依次为f(x，y，t-1)，…，f(x，y，t-N)，这N幅图像对应的文本区域分别为R(x，y，t-1)，…，R(x，y，t-N)，其中x代表当前图像的横坐标，y代表当前图像的纵坐标，t代表当前图像的帧数；

(2)对当前图像f(x，y，t)的文本区域R(x，y，t)进行校验，具体包含以下子步骤：

(21)判断文本区域t中的子区域是否在文本区域中出现过；

(22)若没有出现过，则可确定该子区域是虚警区域，并将该子区域排除，并将文本区域R(x，y，t)更新为R_new(x，y，t)，其中R_new(x，y，t)为当前图像中的待修复区域；

(23)若出现过，则继续对文本区域R(x，y，t)中其他子区域进行校验；

(3)从前往后对文本区域R(x，y，t)进行背景修复，具体包含以下子步骤：

(31)分析当前图像f(x，y，t)及其前N帧的运动偏移，如果运动较大，直接对下一帧进行处理；如果运动较小，则进行步骤(32)；

(32)将当前图像的文本区域R_new(x，y，t)及其前N帧的文本区域R(x，y，t-1)，…，R(x，y，t-N)进行比较，得到当前图像中可利用帧间信息修复的区域为R_new(x，y，t)-R(x，y，t-1)，…，R_new(x，y，t)-R(x，y，t-N)；

(33)对当前图像f(x，y，t)中的区域，在前N帧中搜索最佳匹配块完成修复，并更新R_new(x，y，t)；

(34)重复步骤(3)对后面一帧进行处理，直至处理完整段视频。(4)从最后一帧开始往前进行背景修复，具体包含以下子步骤：

(41)分析当前图像f(x，y，t)与后N帧的运动偏移，如果运动较大，直接对前面一帧进行处理，如果运动较小，则进行步骤(42)；

(42)将当前图像的文本区域R_new(x，y，t)与后N帧的文本区域R(x，y，t+1)，…，R(x，y，t+N)进行比较，得到当前图像中可利用帧间信息修复的区域为R_new(x，y，t)-R(x，y，t+1)，…，R_new(x，y，t)-R(x，y，t+N)；

(43)对当前图像f(x，y，t)中的区域，在后N帧中搜索最佳匹配块完成修复，并更新R_new(x，y，t)；

(44)如果此时那么对剩余的文本区域，在本帧中搜索最佳的匹配块进行修复；否则重复步骤(4)对前面一帧进行处理，直到处理完整段视频。

本发明的方法具有以下优点：(1)基于视频文字字幕的连续性，本发明方法提出利用帧间信息校验检测区域，来提高区域定位的准确性；(2)基于视频内容的连续性，本发明方法利用帧间可用信息来完成修复，这样既能既能快速的找到最佳匹配信息，又保证了修复结果的正确性；(3)本发明方法将每次修复的结果都作为下一次修复的可用信息，不断累积和延续修复结果的连续性，可以很大程度上减少图像处理方法所产生的帧间闪烁和跳变。总而言之，本发明可保证检测定位的准确性，保证修复结果的正确性，保证视频结果的时间连续性。

附图说明

图1(a)为原始图像。

图1(b)示出经过现有技术方法处理后的图像。