[发明专利]一种面向视频会议的文本区域修复系统和方法

说明书

一种面向视频会议的文本区域修复系统，包括如下模块：文本区域的检测与裁剪模块和文本区域的修复与粘贴模块；一种面向视频会议的文本区域修复方法，包括下列操作步骤：(1)对视频会议场景下的图像进行预处理，检测该图像的文本区域，得到文本区域检测框的四角顶点坐标，按照所得到的四角顶点坐标将文本区域剪裁出来；(2)生成文本区域的二进制掩码，得到文本区域的RGBM图像；对RGBM图像进行超分辨率修复，得到修复后的清晰的文本区域；把所得到的清晰的文本区域粘贴回原视频会议场景下的图像。

技术领域

本发明涉及一种面向视频会议的文本区域修复系统和方法，属于信息技术领域，特别是属于视频会议技术领域。

背景技术

目前视频会议发展迅猛，会议主持人常常使用共享桌面展示ppt、文档等文本图像内容，但当参会人处于电梯、火车等网络状况不好的时候或者带宽受限、网络丢包率较大的时候，参会人看到的常常是模糊不清的文本图像。

图像超分辩率(简称超分)技术常常可以有效的解决图像修复问题，模糊的图像经过超分辨率网络可以大大提高图像的质量。但是目前深度学习领域常见的图像超分辩网络将文本图像视为普通的图像，没有考虑文本图像的特定属性，例如文本级布局和文字级细节，所以修复的图像常常会出文字边缘模糊，图像过度平滑的现象。并且在视频会议场景下，共享ppt或者生成的图像常常又是包含文字外的其他图像，但是人们更多关注文本区域是否清晰可识别而不是背景。如何对视频会议场景下模糊的文本图像进行修复成为当前视频会议技术领域急需解决的一个技术难题。

发明内容

有鉴于此，本发明的目的是发明一种系统和方法，实现对视频会议场景下模糊文本图像的修复，以达到提高视频会议场景下文本图像阅读性的目的。

为了达到上述目的，本发明提出了一种面向视频会议的文本区域修复系统，所述系统包括如下模块：

文本区域的检测与裁剪模块：该模块的功能是首先对视频会议场景下的图像进行预处理，然后检测该图像的文本区域，得到文本区域检测框的四角顶点坐标，最后按照所得到的四角顶点坐标将文本区域剪裁出来；

文本区域的修复与粘贴模块：该模块的功能是首先生成所述文本区域的二进制掩码，该二进制掩码与所述的文本区域进行连接，得到所述文本区域的RGBM图像；对所得到的RGBM图像进行超分辨率修复，得到修复后的清晰的文本区域；把所得到的清晰的文本区域粘贴回原视频会议场景下的图像。

所述的文本区域的检测与裁剪模块包括如下子模块：

图像空间特征提取子模块：该子模块的功能是通过深度学习网络提取视频会议场景下的图像的空间特征；具体过程是：采用ResNet网络对视频会议场景下的图像进行深层次的空间特征提取，得到第五个卷积block的第三层卷积特征图Conv5_3和第四个卷积Block的第三个卷积层特征图Conv4_3，再将所得到特征图Conv5_3经过反卷积和特征图Conv4_3进行融合，得到所述会议场景下的图像的空间特征图，该空间特征图大小是W*H*C，W表示空间特征图的宽，H表示空间特征图的高，C表示空间特征图的特征通道数；

图像序列特征提取子模块：该子模块的功能是通过深度学习网络提取视频会议场景下的图像的序列特征；具体过程是：使用3*3的卷积核对前述得到的空间特征图进行卷积操作，步长为16，然后将卷积操作后所获得的结果排列为3*3*C的特征向量；将该特征向量输入到BiLSTM网络中，经过最后的全连接层得到512维的所述会议场景下的图像的序列特征图；

文本区域检测子模块：该子模块的功能是通过深度学习网络提取视频会议场景下的图像的文本区域检测框的四角顶点坐标；具体过程是：将前述得到的会议场景下的图像的序列特征图输入到RPN网络，得到文本建议text proposal，然后采用文本线构造法连接成一个文本区域检测框，最后输出所检测到的文本区域检测框的四角顶点坐标；