[发明专利]低分辨率面部视频的处理方法

权利要求书

1.一种低分辨率面部视频的处理方法，其特征在于，包括以下步骤：

获取步骤，获取目标人物的中性脸的高分辨率图像Dn；

采集步骤，采集所述目标人物的低分辨率视频帧序列L；

对齐步骤，对所述高分辨率图像Dn和所述低分辨率视频帧序列L中包含的中性脸图像的中性脸帧Ln进行特征点解析，根据所获得的多个特征点得到所述低分辨率视频帧序列L的中性脸帧Ln和所述高分辨率图像Dn的对齐函数；以及

映射步骤，通过所述对齐函数将低分辨率视频帧序列的面部变化映射到所述高分辨率脸部图像中，以得到高分辨率的映射视频帧序列M。

2.如权利要求1所述的处理方法，其特征在于，还包括：

数据库获取步骤，获取所述目标人物的高分辨率脸部图像数据库D，所述数据库D中包含有所述中性脸的高分辨率图像Dn；

匹配视频帧序列获取步骤，从所述数据库D中搜索与所述低分辨率视频帧序列L的每一帧相对应的图像，构建匹配视频帧序列R；以及

修正步骤，根据所述匹配视频帧序列R修正所述映射视频帧序列M。

3.如权利要求1所述的处理方法，其特征在于，所述对齐步骤具体为：

根据所获得的多个特征点对所述高分辨率图像Dn进行三角剖分，并根据该剖分的结果对所述低分辨率视频帧序列L中包含的中性脸帧Ln进行三角剖分，建立所述低分辨率视频帧序列L的中性脸帧Ln和所述高分辨率图像Dn的对齐函数。

4.如权利要求1所述的处理方法，其特征在于，所述映射步骤具体包括：

计算所述低分辨率视频帧序列L的各个帧到所述中性脸帧Ln的光流变化；

根据所计算出的光流变化，计算所述低分辨率视频帧序列L各个帧的像素颜色变化；以及

根据所述对齐函数获得所述低分辨率视频帧序列L的各个帧与所述高分辨率图像Dn的像素对应关系，根据该对应关系将所求出的像素颜色变化映射到所述高分辨率图像Dn中，以得到高分辨率的映射视频帧序列M。

5.如权利要求4所述的处理方法，其特征在于，

所述映射步骤中，对所计算出的颜色变化进行时域和空域的平滑化处理后用于映射。

6.如权利要求2所述的处理方法，其特征在于，所述修正步骤具体包括：

计算所述映射视频帧序列M的各个帧到所述匹配视频帧序列R的各个帧的光流变化；

将所述匹配视频帧序列R的各个帧逆着所计算出的光流变化进行变形，将所得到的变形后图像作为修正结果。

7.如权利要求2所述的处理方法，其特征在于，

所述匹配视频帧序列获取步骤中，根据局部二值模式和光流特征从所述数据库D中搜索与所述低分辨率视频帧序列L的每一帧相对应的图像，构建匹配视频帧序列R。

8.如权利要求1所述的处理方法，其特征在于，所述多个特征点包括：面部语义特征点和面部轮廓特征点。

9.如权利要求4所述的处理方法，其特征在于，所述低分辨率视频帧序列L各个帧的像素颜色变化通过如下公式计算，所述公式为，

minQi.Φ(||Qi-Qi0||2)+λΦ(|∂Qi∂x|2+|∂Qi∂y|2+|Qi-Qi-1|2)]]>

其中，Q_i为i时刻的颜色变化，Q_i0为整幅图像的颜色变化，Φ(||Q_i-Q_i0||²)和分别表示鲁棒函数，x为横坐标维度，y为纵坐标维度，t为时间维度，λ为平滑的权重参数。