[发明专利]视频编码方法、装置、设备及存储介质

说明书

本申请提供了一种视频编码方法、装置、设备及存储介质，属于视频处理技术领域。在对视频帧进行编码时，根据生成该视频帧时的渲染信息，以及生成该视频帧的参考帧时的渲染信息，来确定该视频帧中图像块的运动矢量，并对该视频帧进行编码。采用这种方法进行视频编码，能够大大减少运动估计的计算量，加快视频编码速度，提高视频编码效率，进而有效降低端到端时延。

本申请要求于2021年01月14日提交的申请号为202110048292.6、发明名称为“一种编码的方法、装置及系统”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及视频处理技术领域，特别涉及一种视频编码方法、装置、设备及存储介质。

背景技术

随着互联网技术的快速发展，用户能够通过与云渲染计算平台实现网络连接的虚拟现实(virtual reality，VR)终端，来体验运行在云渲染计算平台上的VR应用。通常，云渲染计算平台在渲染每一帧视频时，都会生成具有一定视差的左、右眼视频帧，分别对应于用户的左眼视角和右眼视角，在对这两个视频帧进行编码后，将其发送至VR终端，由VR终端进行解码和显示，使得用户可以体验到立体视觉的效果。

相关技术中，云渲染计算平台在对左、右眼视频帧进行编码时，通常采用以下两种方法：方法一、将左、右眼视频帧进行拼接，得到一个视频帧，然后基于标准编码器对该视频帧进行编码，生成一路标准视频码流；方法二、基于标准编码器对左、右眼视频帧分别进行编码，生成两路标准视频码流。

在上述方法中，无论是将左、右眼视频帧拼接后进行一路视频编码，还是将左、右眼视频帧各进行一路视频编码，编码的计算量均较大，导致视频编码的速度较慢，进而导致视频编码的效率不高。

发明内容

本申请实施例提供了一种视频编码方法、装置、设备及存储介质，能够有效提高视频编码效率，降低端到端时延。该技术方案如下：

第一方面，提供了一种视频编码方法，该方法包括：获取视频帧，以及该视频帧的参考帧，该视频帧和该参考帧来自多视角图像中的同一视角或者不同视角；基于第一渲染信息和第二渲染信息确定该视频帧中图像块的运动矢量；其中，该第一渲染信息为生成该视频帧时的渲染信息，该第二渲染信息为生成该参考帧时的渲染信息；基于该运动矢量编码该视频帧。

采用上述方法进行视频编码，能够大大减少运动估计的计算量，加快视频编码速度，提高视频编码效率，进而有效降低端到端时延。

可选地，该视频帧和该参考帧是运行虚拟现实VR应用时生成的，该视频帧编码后的数据用于在终端上解码显示，该第一位置、姿态信息，和该第二位置、姿态信息基于该终端的位置和姿态确定。

基于上述可选方式，可以基于终端来对服务器在运行虚拟现实VR应用所生成的数据进行显示，且终端的位置和姿态可以影响服务器的渲染过程，从而实现VR显示的目的。

可选地，该终端为手机、平板、可穿戴设备或分体式设备，该分体式设备包括显示设备以及对应的控制设备。

基于上述可选方式，视频帧编码后的数据能够在多种不同形式的终端上解码显示，本申请具有较为广泛的适用性。

可选地，该可穿戴设备为头戴式显示器。

可选地，若该视频帧与该参考帧来自同一视角，则该第一渲染信息包括渲染该视频帧时虚拟相机的第一位置、姿态信息，以及该视频帧的深度信息；该第二渲染信息包括渲染该参考帧时虚拟相机的第二位置、姿态信息，以及该参考帧的深度信息。