[发明专利]视频编码器和编码方法

说明书

一种图像传感器包括多个像素，每个像素属于N个子帧之一，每个子帧由以下各项来表征：(a)相同的曝光时间序列，该曝光时间序列包括与长曝光时间交替的短曝光时间，以及(b)相应的时间偏移，该时间偏移等于短曝光时间的倍数。一种用于对由图像传感器捕获的视频流进行编码的方法包括：(i)对于每个子帧，将以长曝光时间捕获的长曝光图像和以短曝光时间捕获的短曝光图像线性组合，以产生残差图像；(ii)组合来自N个子帧的长曝光图像中的至少一些，以产生具有比任何长曝光图像更高分辨率的全帧图像；(iii)将全帧图像编码到视频流的基本层中；以及(iv)将来自N个子帧的残差图像中的至少一些编码到视频流的增强层中。

相关申请的交叉引用

本申请要求于2018年11月19日提交的美国专利申请号62/769,223以及于2018年11月19日提交的欧洲专利申请号18207029.2的优先权权益，这两个专利申请通过引用以其全文并入本文。

背景技术

影片和视频中显示的对象的视在运动是由光学错觉产生的，在该光学错觉中，静止图像或帧的序列以比人类观看者能够将它们区分为不同图像更快的帧率显示。该帧率被称为闪光融合阈值。较高的帧率通常会导致更平滑的感知运动。然而，为高帧率显示而捕获的图像是以较短的曝光时间捕获的，由于入射在传感器介质上的光减少，这导致这种图像的分辨率降低，并且同时数据传输的成本也越高。增加曝光时间使得能够在单个图像内捕获更多细节，但这以运动模糊为代价。因此，在单一曝光速度的情况下，存在捕获场景的细节与准确捕获场景内的运动之间的折衷。

发明内容

在第一方面，公开了一种用于对由图像传感器捕获的视频流进行编码的方法。图像传感器包括多个像素，每个像素属于N个子帧之一，该N个子帧之一各自由以下各项来表征：(i)相同的曝光时间序列，该曝光时间序列包括与长曝光时间交替的短曝光时间，以及(ii)相应的时间偏移，该时间偏移等于短曝光时间的整数倍。该方法包括，针对N个子帧中的每个子帧，将以长曝光时间捕获的长曝光低分辨率图像和以短曝光时间捕获的短曝光低分辨率图像线性组合，以产生子帧残差图像。该方法还包括组合来自N个子帧的长曝光低分辨率图像中的至少一些，以产生具有比任何长曝光低分辨率图像更高分辨率的全帧长曝光图像。该方法还包括：(i)将全帧长曝光图像编码到视频流的基本层中；以及(ii)将来自N个子帧的子帧残差图像中的至少一些编码到视频流的增强层中。

在第二方面，公开了一种用于对由图像传感器捕获的视频流进行编码的视频编码器。该图像传感器包括第一方面的多个像素。该视频编码器包括存储器和通信地耦接到存储器的微处理器。存储器存储非暂态计算机可读指令，并适于存储由图像传感器捕获的图像数据。微处理器适于执行指令以执行第一方面的方法。

附图说明

图1描绘了实施例中的接收由相机的图像传感器捕获的视频数据的视频编码器。

图2是实施例中的图1的图像传感器的详细示意图。

图3是实施例中的图2的图像传感器的像素子阵列以及对应的时间偏移系数的示意图。

图4是实施例中的与图3的像素子阵列的相应子帧1-N相对应的N个捕获定时的示意图。

图5是实施例中的子帧和在图4的相应的短曝光时间间隔期间由相应的多个像素生成的相关联的短曝光像素值的示意图。

图6是实施例中的子帧和在图4的相应的长曝光时间间隔期间由相应的多个像素生成的相关联的长曝光像素值的示意图。

图7是实施例中的第一视频编码器的示意性框图，该第一视频编码器被配置为根据从图1的图像传感器接收到的未编码视频数据生成多层视频流。

图8是图示了实施例中的用于利用图7的视频编码器对视频流进行编码的第一方法的流程图。

图9是实施例中的第二视频编码器的示意性框图，该第二视频编码器被配置为根据从图1的图像传感器接收到的未编码视频数据生成多层视频流。