[发明专利]视频处理方法和系统、云终端、云服务器及芯片系统

说明书

本申请提供了视频处理方法和系统、云终端、云服务器及芯片系统。该视频处理方法包括：接收包含视频超分模型的视频码流；根据所述视频码流获取所述视频超分模型；以及根据所述视频超分模型对所述视频码流进行图像处理以生成视频图像，所述视频图像的第一分辨率大于与所述视频码流相对应的第二分辨率。以此方式，能够自动对视频进行有效超分，降低视频传输过程中所需耗费的资源数量。

技术领域

本申请涉及视频超分技术领域，特别涉及视频处理方法和系统、云终端、云服务器、芯片系统和计算机可读存储介质。

背景技术

随着互联网技术的发展，视频云服务器已被广泛应用于视频处理领域。然而，视频云服务器的资源瓶颈主要在带宽、功耗、存储和计算性能，这些方面都严重制约着视频云服务的发展。可以理解，如果想要为客户提供高质量的视频资源，则需要消耗更多的视频云服务器资源，例如，带宽、功耗、存储和计算性能等。显然，以这种方式提供高质量的视频资源必然会因为视频云服务器资源的消耗而增加大量的成本。因此，如何在控制成本的情况下提高视频资源的质量已成为视频云服务器使用领域亟待解决的问题之一。

发明内容

本申请提供了视频处理方法和系统、云终端、云服务器及芯片系统，其能够自动对云端视频进行超分，进而有效降低视频云服务器获取高质量视频过程中所需消耗的资源。

在第一方面，提供一种视频处理方法。该方法包括：接收包含视频超分模型的视频码流；根据所述视频码流获取所述视频超分模型；以及根据所述视频超分模型对所述视频码流进行图像处理以生成视频图像，所述视频图像的第一分辨率大于与所述视频码流相对应的第二分辨率。

在一些实施例中，根据所述视频超分模型对所述视频码流进行图像处理以生成视频图像包括：根据所述视频超分模型生成具有第一码率的所述视频图像，所述第一码率大于与所述视频码流相对应的第二码率。

在一些实施例中，根据所述视频超分模型对所述视频码流进行图像处理以生成视频图像包括：提取用于视频超分的目标分辨率；通过图像加速引擎对所述视频码流的UV分量进行图像处理；以及通过所述视频超分模型根据所述目标分辨率对所述视频码流的Y分量进行视频超分，以生成所述视频图像。

在一些实施例中，根据所述视频码流获取所述视频超分模型包括：对所述视频超分模型被打包在其中的所述视频码流进行解析，以获取所述视频超分模型。

在一些实施例中，所述视频超分模型根据视频类型被训练，并且被打包到所述视频码流中。

在一些实施例中，所述视频超分模型为轻量级DNN视频超分模型。

在一些实施例中，所述轻量级DNN视频超分模型包括多层神经网络，所述多层神经网络包括呈现串联关系的提取网络层、推理网络层和重建网络层，所述提取网络层被配置为提取与时间相关联的图像特征，所述推理网络层被配置为推理图像细节，并且所述重建网络层被配置为重建超分图像。

在一些实施例中，所述轻量级DNN视频超分模型包括超分编码器和超分解码器，所述超分编码器包括用于特征提取和用于推理图像细节的网络层，并且所述超分解码器包括用于超分图像重建的网络层。

第二方面，本发明提供一种视频处理方法，该方法应用于云服务器。该方法包括：从云终端接收视频超分业务以获取视频类型；根据所述视频类型从视频超分模型数据库获取视频超分模型；将所述视频超分模型打包到与所述视频超分业务相对应的视频码流中；以及将所述视频码流发送到所述云终端，使得所述云终端根据所述视频超分模型对所述视频码流进行图像处理以生成视频图像，所述视频图像的第一分辨率大于与所述视频码流相对应的第二分辨率。

在一些实施例中，该方法还包括：根据所述视频类型训练所述视频超分模型；以及利用训练后的视频超分模型更新所述视频超分模型数据库。

在一些实施例中，所述视频超分模型为轻量级DNN视频超分模型。