[发明专利]一种基于GPU的移动端视频美颜的即时呈现方法

摘要

本发明公开了一种基于GPU的移动端视频美颜的即时呈现方法，它包括图像获取步骤、图像处理步骤和图像融合步骤。本发明借助GPU的硬件加速特性，对本方法的多个子步骤进行处理，可以解决使用CPU时的效率低下问题，同时本方法提出并使用的各个子步骤都能很好的应用于GPU加速处理，在保证效率实时的同时，可以得到即时的效果呈现，应用于单幅图像的特效处理；同时，本发明提出一种易于理解且性能优异的图像去噪算法处理框架，利用基于图像积分图的快速图像去噪方案，保证计算速度与采样窗口的大小无关，同时很好的去除图像噪声如斑点的同时保持细节。

主权项

一种基于GPU的移动端视频美颜的即时呈现方法，其特征在于：它包括图像获取步骤、图像处理步骤和图像融合步骤；所述的图像获取步骤包括：输入视频，将所述视频按帧提取并作为图片序列；所述的图像处理步骤包括三个基于GPU硬件加速的逐像素独立执行的子步骤：图像的整体美化子步骤、图像的增强处理子步骤和生成图像的皮肤区域的遮罩处理子步骤；所述的整体美化子步骤包括以下子步骤：S111：将输入图像的RGB颜色空间转化到YUV颜色空间，同时保留UV通道；S112：设置采样窗口大小，判断采样窗口的大小是否大于预设的阈值：如果是则使用积分图，否则使用盒子滤波；所述的使用积分图包括以下子步骤：S11211：生成亮度图像的积分图，包括一次项与二次项的积分图，其中迭代公式分别如下：sum_i,j＝sum_i,j‑1+sum_i‑1,j‑sum_i‑1,j‑1+f_i,j；${\mathrm{sumsq}}_{i,j}={\mathrm{sumsq}}_{i,j-1}+{\mathrm{sumsq}}_{i-1,j}-{\mathrm{sumsq}}_{i-1,j-1}+f_{i,j}^2;$式中，sum表示直接和，sumsq表示平方和，f表示亮度值，保存上述得到的两幅积分图像；S11212：对于图像中的所有像素逐个处理，在以每个像素为中心的窗口中，分别计算此窗口中所有像素的均值和方差，计算公式如下：$E=\frac{{\mathrm{sum}}_{i+N,j+N}-{\mathrm{sum}}_{i+N,j-N-1}-{\mathrm{sum}}_{i-N-1,j+N}+{\mathrm{sum}}_{i-N-1,j-N-1}}{(2*N+1)*(2*N+1)}$$\begin{array}{c}Esq=\frac{{\mathrm{sumsq}}_{i+N,j+N}-{\mathrm{sumsq}}_{i+N,j-N-1}-{\mathrm{sumsq}}_{i-N-1,j+N}+{\mathrm{sumsq}}_{i-N-1,j-N-1}}{(2*N+1)*(2*N+1)}\\ VAR=Esq-E^2\end{array}$式中，E表示均值，VAR表示方差；i和j分别表示相对于图像左上角的垂直和水平方向的坐标，N表示窗口半径；所述的使用盒子滤波的计算公式如下：$E=\frac{\underset{m=-N}{\overset{N}{\Σ}}\underset{n=-N}{\overset{N}{\Σ}}{f}_{i+m,j+n}}{(2*N+1)*(2*N+1)}$$\begin{array}{c}Esq=\frac{\underset{m=-N}{\overset{N}{\mathrm{\Σ}}}\underset{n=-N}{\overset{N}{\mathrm{\Σ}}}{f}_{i+m,j+n}^2}{\left(2*N+1\right)*\left(2*N+1\right)}\\ VAR=Esq-E^2\end{array}$式中，E表示均值，VAR表示方差；m和n分别表示垂直和水平方向与当前像素位置的相对距离；S113：图像去噪：对于每一个像素，在得到基于此像素为中心的窗口的均值和方差后，根据得到的均值和方差进行平滑滤波，所述的平滑滤波的校正方式为：$k=\frac{VAR}{VAR+\mathrm{\β}+\mathrm{\ϵ}}$f_i,j＝E*(1‑k)+f_i,j*k式中，β表示调节的参数值，其值越大，表示平滑的程度越大，则去除的噪声越大；∈是一个接近于0的小数，其目的是为了防止被除数为0时的异常；从对像素值进行校正的公式中可以得出，当调节的参数值越大时，该像素值越接近E；S114：对图像进行锐化处理，对图像的纹理细节进行补偿提升，处理公式为：$S_{i,j}=f_{i,j}+\frac{f_{i,j-1}+f_{i,j+1}+f_{i-1,j}+f_{i+1,j}-f_{i,j}*4}{4}*\mathrm{\α}$式中，S表示锐化后的图像，α表示锐化的程度，即4‑邻域拉普拉斯梯度对像素值的贡献百分比，α值越大，锐化程度越大；S115：图像锐化处理之后，再与去噪前RGB转换得到的UV通道合并成YUV图像；S116：将步骤S115得到的YUV图像再次转换回RGB颜色空间，以供后续进一步处理；所述的图像的增强处理子步骤采用非线性图像增强，对图像进行整体美白处理，通过提升图像的暗部细节的同时保持亮度细节的方式实现，首先将图像归一化至[0,1]的范围内，然后采用指数函数映射的方法进行处理：$f_{i,j}=f_{i,j}^p$式中，p表示美白的程度；所述的生成图像的皮肤区域的遮罩处理子步骤包括以下子步骤：S121：检测图像的皮肤区域：使用阈值处理，首先划分出皮肤与非皮肤的粗选区域，通常人的皮肤区域的RGB统计值为[a,b,c]，其中a、b、c为对多张图像的皮肤与非皮肤区域进行统计分类而得到的一组值，检测时当图像的像素值大于统计值时则划分为皮肤区域，否则为非皮肤区域，得到一个皮肤区域的初步检测；S122：得到皮肤区域的遮罩后，对遮罩作进一步的细化处理：采用指定窗口大小的高斯模糊进行遮罩处理，高斯函数的二维公式如下：$f(x,y)=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{-\frac{x^2+y^2}{2{\mathrm{\σ}}^2}}$式中，x和y分别表示垂直和水平方向与当前操作像素的相对距离，σ表示标准差；所述的图像融合步骤包括：在图像处理步骤完成后，根据得到的皮肤区域的遮罩分别对整体美白后的图像及整体去噪后的图像进行逐像素融合，整合公式为：Final_i,j＝B_i,j*(1‑α_i.j)+F_i,j*α_i.j式中，B表示整体去噪后的图像，F表示整体美白后的图像，α表示得到的皮肤区域的遮罩，Final表示图像融合结果；完成融合后得到最后的结果图像，将结果图像按照序列进行输出。