[发明专利]流媒体视频图像预处理方法

说明书

 

技术领域

本发明涉及一种视频图像预处理方法，尤其是涉及一种对流媒体视频图像进行处理使之更加适宜于网络传输的方法。

背景技术

在手机流媒体所处的无线互联网络中，网络带宽极其有限。要在低端手机上实现流媒体解决方案，不仅仅是在算法的时间复杂度上需要高度优化，网络带宽的瓶颈很难突破。尤其是GPRS网络，更是如此。在流媒体传输中，视频图像的码率占据着主要部分，而且码率波动范围较大。传统的均值滤波算子操作是一种低通滤波器，它能够有效去除噪声，降低码率。但是在去除噪声的同时，也使得图像变得模糊。

中华人民共和国国家知识产权局于2009年02月04日公开了公开号为CN101350235A的专利文献，名称是视频图像预处理方法，包括如下步骤:初始化噪声点数和噪声阈值；计算当前编码块原始像素与零运动矢量参考块像素差的绝对值集合；所述集合中去掉与噪声点数对应数量的最大值，然后在剩下的点中选出最大值；判断该最大值是否大于噪声阈值；若该最大值大于噪声阈值，则用普通的快速搜索算法搜索各种块模式的最优运动矢量并选择最优块模式编码；若该最大值小于等于噪声阈值，则调整量化步长，按零运动矢量的模式编码。此方案尽管降低了文件大小和播放时的处理时间，但是在视频质量上整体下降，对于重点内容影响较大。

发明内容

本发明主要是解决现有技术所存在的使视频质量整体下降、难以保持重点部分清晰度的技术问题，提供一种可以在保证重点部分清晰度、保证图像质量的前提下降低视频图像的编码码率的流媒体视频图像处理方法。

本发明针对上述技术问题主要是通过下述技术方案得以解决的：一种流媒体视频图像预处理方法，包括以下步骤：

步骤一、从视频源取得一帧RGB格式的图像；

步骤二、将RGB格式的图像转换为YUV420格式的图像；

步骤三、对YUV420格式的图像的Y分量作边缘检测，得到Y分量的边缘2值图像；

步骤四、将YUV420图像缩放到固定大小；

步骤五、将Y分量的边缘2值图像也缩放到同样的尺寸；

步骤六、对缩放之后YUV420格式图像的Y分量，做人脸检测，得到人脸区域；

步骤七、对缩放之后的YUV420格式图像的Y分量的非人脸区域和非边缘点，作双边滤波操作；

步骤八、对缩放之后的YUV420格式图像的U、V分量进行双边滤波操作，得到处理以后的图像。

图像重要区域一般为人脸部位和边缘部位，处理以后的图像将可以降低编码码率，而对人脸等区域不进行处理，保证重要部位的清晰度。

作为优选，边缘检测包括以下步骤：

A、首先用2D高斯滤波模板与原始图像进行卷积，以消除噪声；

B、利用一阶偏导有限差分算子找到灰度图像沿着两个方向的导数Gx，Gy，并求出梯度大小和梯度方向；

C、把梯度方向大致分为4个方向（0度，45度，90度，135度），并找到沿这个像素梯度方向的邻接像素；

D、遍历图像，若整个像素的灰度值与梯度方向上前后两个像素的灰度值相比不是最大的，那么将这个像素值置为零，即不是边缘。

E、使用累积直方图计算两个阈值，凡是大于高阈值的一定是边缘，凡是小于阈值的一定不是边缘；如果在两个之间，则根据这个像素的邻接像素中有没有超过高阈值的边缘像素进行判断，如果有，则就是边缘，否则不是边缘。

作为优选，对YUV420格式图像的缩放包括：

A、对于Y分量，根据Y分量的边缘2值图像选择插值核函数，如果选择的源象素点处于边缘点，则选择bi-cubic计算插值核函数，否则选择三次B样条插值核函数，此处边缘2值图像信息由步骤三得到；

B、对U，V分量，统一采用B样条做插值核函数进行图像缩放。

对于图像缩放来说，高质量的缩放算法有双3次多项式插值bi-cubic,还可以选择3次B样条插值B-Spline。两种插值都是3次多项式插值，只是计算插值系数所采样的多项式不同而已。B样条插值会在一定程度上模糊图像，因为它的滤波器系数具有低通滤波器的特性。通过试验也可以验证：用B样条插值缩放的图像较暗，而普通的bi-cubic插值得到的图像能够保持原图像的亮度不变。同时，B样条插值后的图像编码出来的码率比bi-cubic插值后编码出来的码率要低10%左右。对不同区域选用不同的缩放算法，可以在保证图像质量和降低图像码率之间获得平衡。