[发明专利]视频编码器和编码方法

权利要求书

1.一种用于对由图像传感器捕获的视频流进行编码的方法，所述图像传感器包括多个像素，每个像素属于N个子帧之一，其中，每个子帧的像素均匀地分布在图像传感器区域上，每个子帧由以下各项来表征：(i)相同的曝光时间序列，所述曝光时间序列包括与长曝光时间交替的短曝光时间，以及(ii)相应的时间偏移，所述时间偏移等于所述短曝光时间的整数倍，所述方法包括：

针对所述N个子帧中的每个子帧，将以所述长曝光时间捕获的长曝光低分辨率图像和以所述短曝光时间捕获的短曝光低分辨率图像线性组合，以产生子帧残差图像；

组合来自所述N个子帧的所述长曝光低分辨率图像中的至少一些长曝光低分辨率图像，以产生具有比任何长曝光低分辨率图像更高分辨率的全帧长曝光图像，其中，所述长曝光低分辨率图像中的所述至少一些长曝光低分辨率图像包括所述图像传感器的所有像素；

将所述全帧长曝光图像编码到所述视频流的基本层中；以及

将来自所述N个子帧的所述子帧残差图像中的至少一些子帧残差图像编码到所述视频流的增强层中。

2.如权利要求1所述的方法，所述短曝光低分辨率图像包括多个短曝光像素值，所述长曝光低分辨率图像包括多个长曝光像素值，所述方法进一步包括：

将所述多个短曝光像素值中的红色像素值、绿色像素值和蓝色像素值存储在存储器缓冲区的相应部分中；以及

将所述多个长曝光像素值中的红色像素值、绿色像素值和蓝色像素值存储在所述存储器缓冲区的相应部分中。

3.如权利要求1或权利要求2所述的方法，所述长曝光低分辨率图像包括多个长曝光像素值，并且组合的步骤包括：

通过将所述多个长曝光像素值中的每一个除以所述长曝光时间与所述短曝光时间的比率来缩放所述长曝光低分辨率图像，

从所述短曝光低分辨率图像中减去经缩放的长曝光低分辨率图像。

4.如权利要求1或权利要求2所述的方法，组合的步骤在逐像素的基础上执行。

5.如权利要求1或权利要求2所述的方法，在组合的步骤中，N为使得(N-1)是最接近于所述长曝光时间除以所述短曝光时间的整数。

6.如权利要求1或权利要求2所述的方法，进一步包括，针对所述N个子帧中的每个子帧并且在组合的步骤之前，对所述短曝光低分辨率图像和所述长曝光低分辨率图像中的至少一个进行去噪。

7.如权利要求1或权利要求2所述的方法，进一步包括，针对所述N个子帧中的每个子帧并且在组合的步骤之前，降低来自所述长曝光低分辨率图像和所述短曝光低分辨率图像中的至少一个的固定模式噪声。

8.如权利要求1或权利要求2所述的方法，进一步包括，针对所述N个子帧中的每个子帧并且在组合的步骤之前，对所述长曝光低分辨率图像和所述短曝光低分辨率图像中的至少一个进行钳位。

9.如权利要求1或权利要求2所述的方法，进一步包括，针对所述N个子帧中的每个子帧，进行以下中的至少一项操作：(i)对所述子帧残差图像进行感知编码；以及(ii)对所述子帧残差图像进行块编码。

10.如权利要求1或权利要求2所述的方法，进一步包括：

在对所述全帧长曝光图像进行编码的步骤之前，通过对所述全帧长曝光图像应用选自由以下各项构成的组的图像处理操作来处理所述全帧长曝光图像：白平衡、去马赛克、镜头阴影校正、颜色变换、伽马校正以及锐化；以及

向所述视频流添加与所述图像处理操作相关联的元数据。

11.如权利要求1或权利要求2所述的方法，进一步包括，针对所述N个子帧中的每个子帧并且在组合的步骤之前：对所述短曝光低分辨率图像和所述长曝光低分辨率图像应用镜头畸变校正和色差校正。