[发明专利]提高影像媒体质量的方法

说明书

一种提高影像媒体质量的方法，其使用内建于客户端装置且经预先训练的人工智能增强模块来提高影像串流的质量。该AI增强模块是在服务器中以神经网络进行预先训练来分析由服务器产生的原图影像与经压缩的压缩影像之间的差异。其中，AI增强模块使用经由分析由服务器产生的原图影像与经压缩的压缩影像之间差异所得到的数学算式来提高压缩影像的质量。藉此，被提高后的影像在视觉上会比该压缩影像更接近该原图影像。

技术领域

本发明是关于一种提高影像媒体质量的方法，尤指一种藉由内建于客户端装置且经预先训练的人工智能(Artificial Intelligent；简称AI)增强模块来提高影像媒体质量的方法。

背景技术

近几年来，网络在线游戏在全世界越来越受欢迎。在云端(Cloud-Based)运算相关系统与技术的发展下，一种由服务器将游戏内容串流以提供服务的技术也被开发出。

传统上提供此类云端在线游戏(On-Line Game)服务的方式是让服务器进行几乎全部的运算。换言之，当提供在线游戏服务时，一特定应用程序会在服务器中执行以产生一包含许多3D(Three Dimensional)对象的虚拟3D环境，其中包含了可被玩家控制或移动的3D对象。然后，依据玩家的控制结果，该服务器把这些3D对象与虚拟3D环境渲染(Render)至一2D(Two Dimensional)游戏画面中，以供显示在玩家的装置上。接着，服务器将渲染后的影像编码(Encode)压缩成2D影像串流并传送给玩家的装置。该玩家装置只需将接收到的2D影像串流译码后加以「播放」，无须进行3D渲染的运算。然而，此种云端在线游戏服务仍有数项问题需注意，例如，当为大量玩家同时提供3D渲染程序时服务器的高负载、因编码压缩及串流程序所造成的影像画面质量的降低、以及经由网络传送2D影像串流所消耗的大量通讯带宽。

解决画面质量降低的一种现有方式是在服务器端提高由游戏应用程序产生的原图影像的分辨率，并提高传输影像时的比特率(Bitrate)，亦即，降低服务器把原图影像编码成2D影像串流时的压缩率(Compression Ratio)。然而，很显然地，这样做将导致服务器的负载及带宽消耗量都将因影像的高分辨率与高传输比特率而显著增加。例如，假设图框率(Frame Rate)与编码压缩率都是定值时，当在服务器端的游戏应用程序产生的原图影像的分辨率由720p提高到1080p时，则服务器的运算负载及所需的网络传输比特率都将提高成2.25倍。相对地，倘若尝试降低服务器负载或网络带宽消耗量时，则游戏影像的画面质量就会被牺牲。因此，想要同时获得完美影像质量与经济的带宽消耗就成为无法兼得的两难。

解决此问题的另一种方式是降低由服务器端的游戏应用程序产生的原图影像的分辨率、或是以一较高压缩率来把原图影像编码成2D影像串流、或两者并行。藉此，藉由网络传送2D影像串流的带宽消耗得以降低，虽然游戏影像的画面质量也会被牺牲。同时，在客户端装置使用一影像增强技术。一旦收到2D影像串流，客户端装置会译码影像串流并藉由该影像增强技术来来改善影像的视觉效果。直方图均化(Histogram equalization；简称HE)因具有简单性与效率性，所以是用于提高影像对比的最常用方法之一。然而，HE可能导致过度的对比度增强和特征丢失问题，导致不自然的外观和所处理的影像细节的损失。此外，不仅HE而且本领域已知的所有其他影像增强技术都遇到相同的困境，亦即，它们都试图使用同一套算法来处理具有完全不同画面内容的各种影像，而这种想法是不可行的。拿云端在线游戏服务为例，由服务器产生的原图影像的画面内容会因为游戏场景的变化而显著改变。举例来说，一城市游戏场景可能让游戏的原图影像包含许多具有简单且清晰的外观轮廓以及虽不同但却大致同色系的色彩。一个黑暗洞穴的游戏场景则会使游戏的原图影像充满单调且低色调及低色度值的色彩，但却具有不规则但不起眼的景观轮廓。而一茂盛花园的场景则会让游戏的原图影像包含许多生气勃勃且色彩鲜艳的对象并具有详细且复杂的轮廓。毫无疑问地，没有任何一种现有增强技术可以对具有完全不同画面内容的各种不同场景都同样提供良好的影像增强效果。