[发明专利]基于分辨率提升的影视作品翻新方法

摘要

本发明针对较低的分辨率、较低的清晰度的影视作品，提出了一种基于分辨率提升的影视作品翻新方法，其具体方案是：首先，获取原始视频的分辨率及目标分辨率，计算出缩放比例；其次，将输入视频按一定分割方式分割为图像帧集合；而后，根据预先存储的映射关系进行变换，得到高分辨率视频帧；最后，将高分辨率视频帧组合成高分辨率视频.其中，预先存储的映射关系基于混合专家模型学习得到，该过程在计算机中离线完成.本发明所述方法具有自适应好、速度快、效果好、可扩展等优点。

主权项

1.一种基于分辨率提升的影视作品翻新方法，其特征在于：包括学习映射关系模型和根据映射关系模型进行分辨率提升两部分；其中，学习映射关系模型包括以下两个步骤：(1)预处理训练视频，包括：(1.1)选取高分辨率视频作为训练样本，并将其拆分为高分辨率视频帧；(1.2)将步骤(1.1)所得的高分辨率视频帧使用高斯核卷积；(1.3)根据原始低分辨率视频和目标高分辨率视频计算放大倍数，根据所得的倍数进行隔行采样，得到对应的低分辨率视频帧；(1.4)将高分辨率视频帧和采样所得的低分辨率视频帧分别分割成块，作为训练数据；(2)基于混合专家模型获得映射关系模型，包括：(2.1)初始化一个混合专家模型，包括以下步骤：①指定专家的数量K；②假定每个专家的概率分布服从高斯分布：p(y|x，Wi)＝N(y(x，Wi)，σ)，其中x表示低分辨率视频帧块，y表示高分辨率视频帧块，Wi表示第i个专家的参数，σ为高斯分布的标准差；假定参数Wi的分布也服从高斯分布：p(Wi)＝N(0，μ)，其中μ表示高斯分布的均值；③采用k‑均值算法将训练数据按照专家的数量K聚类，每个专家的参数的初始值Wi(0)指定为类内斜率，每个门函数参数的初始值vi(0)指定为聚类中心；④计算每一个门函数的初始值：其中vi(0)表示第i个门函数参数的初始值，K为混合专家模型中专家的个数，即树形结构中叶子节点的个数；(2.2)使用步骤(1.4)得到的训练数据，对混合专家模型进行迭代优化，直到迭代过程收敛，最终得到的模型参数即为映射关系模型；映射关系模型包括门函数参数和专家参数；所述对模型进行迭代优化包括以下步骤：①指定迭代终止时的允许误差ε；②计算本轮迭代中每个门函数的后验概率：其中k为迭代步数，pi(y|x，Wi(k))和pj(y|x，Wj(k))表示专家的概率分布，gi(k)(x，vi(k))表示第i个门函数的第k步迭代值；③更新每个专家参数：其中k为迭代步数，X为训练数据中的所有低分辨率视频帧块x组成的向量，Y为训练数据中所有高分辨率视频帧块y组成的向量，XT表示X的转置，I表示单位矩阵，Hi(k+1)表示第k+1步中第i个专家所对应的所有低分辨率视频帧块x的后验概率组成的向量；④更新每一个门函数参数：其中表示第k步迭代中第i个门函数参数，为第k步迭代中第i个门函数的后验概率，x^(t)表示第t个低分辨率视频帧块；⑤计算本轮迭代中每个门函数的输出：⑥计算本轮迭代中的似然概率：其中，pi(y|x，Wi(k+1))表示专家的概率分布，p(Wi(k+1))表示专家参数的概率分布；⑦判断迭代是否收敛；当本轮迭代的似然概率与上一轮迭代的似然概率之差的绝对值小于迭代终止时的允许误差ε时，结束迭代；否则重复执行步骤②～⑦；迭代结束时得到的门函数参数vi、连同专家数量K、专家参数Wi、专家的概率分布的标准差σ和专家参数的概率分布的均值μ，一起作为最终的映射关系模型存储在磁盘中；根据映射关系模型进行分辨率提升包括以下两个步骤：(3)预处理待处理的低分辨率视频，包括：(3.1)将待处理的低分辨率视频拆分为低分辨率视频帧；(3.2)将低分辨率视频帧分割成块；(4)将低分辨率视频根据步骤(2)得到的映射关系模型提升为高分辨率视频，包括：(4.1)将步骤(3)得到的低分辨率视频帧块作为混合专家模型门函数的输入，使用步骤(2)得到的映射关系模型中的门函数参数计算每一个门函数的输出；(4.2)使用输出值最大的门函数所对应的专家函数的参数计算对应的高分辨率视频帧块，其中专家函数的参数由步骤(2)得到；(4.3)对每一个低分辨率视频帧块按照(4.1)和(4.2)的步骤进行分辨率提升，得到对应的高分辨率视频帧块，将所有的高分辨率视频帧块按照其对应的低分辨率视频帧块在低分辨率视频帧中的位置拼接为对应的高分辨率视频帧；(4.4)得到所有低分辨率视频帧对应的高分辨率视频帧后，将其组合为高分辨率视频。