[发明专利]一种基于深度学习的多模式分像素插值方法

权利要求书

1.一种基于深度学习的多模式分像素插值方法，其步骤包括：

1)差分预测网络对输入的已编码的整像素参考块采用两种模式进行预测，生成两种模式下的分像素预测值；其中，模式一、差分预测网络预测所有目标亚像素到该整像素参考块的左上角整像素的残差，并将左上角整像素与预测残差相加，得到一组目标亚像素值；模式二、差分预测网络预测目标亚像素与该整像素参考块的左上角之外的一个整像素的残差，并基于得到的残差得到对应的目标亚像素预测值；训练所述差分预测网络的方法为：11)获取多个样本图片，对每一样本图片进行隔点采样以及编码重建得到整像素块并对该样本图片进行隔点采样以及模糊得到分像素块，得到该样本图片对应的训练数据；12)将整像素块送入差分预测网络中，进行差分预测网络的前向计算，获取残差预测值，然后将预测的残差值与所属预测模式对应位置的整像素相加，获取目标分像素；13)计算步骤12)得到的计算结果与训练数据中的目标分像素块的均方差；14)将计算的均方差反向传播到差分预测网络各层，以更新各层权值；15)重复步骤11)-步骤14)直到差分预测网络的均方差收敛；

2)编码器分别使用已有插值方法生成的亚像素级参考块、模式一生成的亚像素级参考块和模式二生成的亚像素级参考块，对待编码块进行帧间编码，然后基于三种编码的编码效果选择最佳亚像素级参考块，并将供解码器端使用的相应信息存储到码流。

2.如权利要求1所述的方法，其特征在于，所述模式一包括1/2像素位的分像素插值模型和1/4像素位的分像素插值模型；所述模式二包括1/2像素位的分像素插值模型和1/4像素位的分像素插值模型。

3.如权利要求2所述的方法，其特征在于，对于1/2分像素插值，每个样本图像对应的训练数据为整像素块和对应的3个1/2分像素块；对于1/4分像素插值，每个样本图像对应的训练数据为整像素块和12个1/4分像素块。

4.如权利要求1所述的方法，其特征在于，所述模式二为：差分预测网络预测目标亚像素与右上角、左下角或右下角整像素的残差，并基于得到的残差得到对应的目标亚像素预测值。

5.如权利要求1所述的方法，其特征在于，所述模式二为：差分预测网络预测目标亚像素与最近邻整像素的残差，并基于得到的残差得到对应的目标亚像素预测值。