[发明专利]数据处理方法、直播方法及装置、电子设备、存储介质

说明书

本公开提供了一种数据处理方法、直播方法及装置、电子设备、存储介质，涉及直播技术领域。该数据处理方法包括：获取初始视频；将初始视频输入至预训练的目标超分辨率模型中，输出中间视频，其中，中间视频的图像分辨率大于初始视频的图像分辨率；对中间视频进行细节恢复处理，得到目标视频。本公开实施例的技术方案可以克服由于高帧率、高复杂度等要求的模型限制，导致直播效果不佳的技术问题。

背景技术

随着视频制作水平的提升，观众对直播画面的质量要求日益增高，基于传统算法提升分辨率的方法虽然对机器模型的算力要求不高，但重构的图像输出一般很模糊，清晰度甚至低于原始图像，例如，在高帧率、高复杂度直播场景下因带宽、编码损失等因素，容易造成画面模糊、失真等现象，因此，传统算法很难复用到实时直播场景。

针对将超高清视频技术应用至直播技术的过程中，由于高帧率、高复杂度等要求的模型限制，导致直播效果不佳的技术问题，目前尚未提出解决方案。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开实施例的目的在于提供一种数据处理方法、直播方法、数据处理装置、直播装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于高帧率、高复杂度等要求的模型限制，导致直播效果不佳的技术问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开实施例的第一方面，提供了一种数据处理方法，包括：获取初始视频；将初始视频输入至预训练的目标超分辨率模型中，输出中间视频，其中，中间视频的图像分辨率大于初始视频的图像分辨率；对中间视频进行细节恢复处理，得到目标视频。

在本公开的一些示例实施例中，基于前述方案，目标超分辨率模型是基于预训练过程得到的，预训练过程包括：获取训练数据集；通过训练数据集对预构建的初始超分辨率模型进行模型训练，得到中间超分辨率模型，其中，初始超分辨率模型包括第一卷积层以及重参数卷积层，且第一卷积层和/或重参数卷积层之间通过长短残差网络连接；对中间超分辨率模型的网络结构进行重构建处理，得到目标超分辨率模型。

在本公开的一些示例实施例中，基于前述方案，对中间超分辨率模型的网络结构进行重构建处理，得到目标超分辨率模型，包括：确定与重参数卷积层等效的第二卷积层；将中间超分辨率模型的重参数卷积层替换为第二卷积层，得到目标超分辨率模型。

在本公开的一些示例实施例中，基于前述方案，确定与重参数卷积层等效的第二卷积层，包括：对重参数卷积层中的各卷积层进行等效融合处理，确定第二卷积层；其中，等效融合处理包括爱因斯坦求和。

在本公开的一些示例实施例中，基于前述方案，目标超分辨率模型包括第一卷积层和第二卷积层，将初始视频输入至预训练的目标超分辨率模型中，输出中间视频，包括：将初始视频输入至第一卷积层中，提取初始视频的第一特征数据；将第一特征数据输入至第二卷积层中，提取初始视频的第二特征数据；对第二特征数据进行上采样处理，得到扩充后的第二特征数据；将扩充后的第二特征数据作为中间视频。

在本公开的一些示例实施例中，基于前述方案，对中间视频进行细节恢复处理，得到目标视频，包括：对中间视频进行锐化处理，以提升中间视频中的高频信息，得到目标视频。

根据本公开实施例的第二方面，还提供了一种直播方法，包括：获取目标视频，目标视频是根据如上述第一方面的数据处理方法确定的；获取直播数据，根据目标视频以及直播数据生成直播数据流；将直播数据流推送至各直播客户端进行展示。