[发明专利]媒体内容生成的方法和装置

说明书

本申请提供一种媒体内容的方法和装置，能够有助于保证生成的媒体内容的光照一致性，进而有助于制作高质量的媒体内容。该媒体生成的方法包括：获取第一视频流、拍摄所述第一视频流时的全球定位系统GPS信息和时间信息，其中，所述第一视频流中包含目标场景；根据所述GPS信息和所述时间信息，确定所述目标场景中太阳光的方向信息；根据所述第一视频流、所述GPS信息和所述时间信息确定环境光照图，所述环境光照图用于表示所述目标场景的环境光照情况；确定原始虚拟模型；根据所述太阳光的方向信息、所述环境光照图和所述原始虚拟模型，获取目标虚拟模型；根据所述第一视频流和所述目标虚拟模型，生成第二视频流。

技术领域

本申请涉及增强现实(augmented reality，AR)技术领域，并且更具体的，涉及媒体内容生成的方法和装置。

背景技术

AR技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，虚拟信息和真实世界两种信息互为补充，从而实现对真实世界的“增强”。传统的高质量的AR内容，通常表现在虚拟信息与真实世界的时间一致性，位置一致性以及光照一致性。其中光照一致性主要包括着色(shading)和阴影(shadowing)两部分内容。

真实世界中的光照是一件非常复杂的现象，光线的传播以及和物体材质之间的反应产生了不同的光照效果，如反射，折射，阴影等。真实的光照效果通常包括但不局限于反射(reflection)，直射光(direct lighting)，间接光(indirect lighting)，阴影(shadow)等等。虚拟物体插入到真实环境中，应该尽可能保持这些光照特性的一致性。

目前，普通用户可以利用手机等移动终端制作AR内容。但是，为了操作简便，终端设备通常用预设的点光源或者平行光替代真实场景中的光照情况，导致AR内容在视觉上效果较差。因此，如何采用移动终端制作高质量的AR内容是亟需解决的问题。

发明内容

本申请提供一种媒体内容生成的方法和装置，能够有助于保证生成的AR内容的光照一致性，进而有助于实现制作高质量的AR内容。

第一方面，提供了一种媒体内容生成的方法，该方法包括：

第一终端获取第一视频流、拍摄所述第一视频流时的全球定位系统GPS信息和时间信息，其中，所述第一视频流中包含目标场景；

根据所述GPS信息和所述时间信息，确定所述目标场景中太阳光的方向信息；

根据所述第一视频流、所述GPS信息和所述时间信息确定环境光照图，所述环境光照图用于表示所述目标场景的环境光照情况；

确定原始虚拟模型；

根据所述太阳光的方向信息、所述环境光照图和所述原始虚拟模型，获取目标虚拟模型；

根据所述第一视频流和所述目标虚拟模型，生成第二视频流。

本申请实施例中，根据终端设备的GPS信息和时间信息，可以获取太阳光的方向信息，这能够有助于提高环境光照图的准确性。因为环境光照图会影响虚拟模型在第一视频流中的着色和阴影，因此本申请实施例在提高环境光照图的准确性的情况下，能够进一步有助于保证生成的目标虚拟模型的光照一致性，进而有助于在终端设备上制作出高质量的AR内容。

结合第一方面，在第一方面的某些实现方式中，所述根据所述第一视频流、所述GPS信息和所述时间信息确定环境光照图，包括：

将所述第一视频流、所述GPS信息和所述时间信息输入预设的光照估计模型，获取所述环境光照图，其中，所述光照估计模型是利用训练数据样本集训练得到的，所述训练数据样本集中包括不同时间的环境光照图样本，和/或不同天气的环境光照图样本。