[发明专利]用于利用基于网络的媒体处理的虚拟现实内容拼接控制的方法和装置

说明书

方法、装置和计算机程序产品提供了信令机制，该信令机制可以结合在运动图像专家组‑I(MPEG‑I)基于网络的媒体处理(NBMP)中定义的媒体处理管道中的媒体接口和交换机制来使用。特别地，方法、装置和计算机程序产品提供了NBMP媒体接口机制，该NBMP媒体接口机制使得虚拟现实(VR)拼接能够在支持NBMP的系统内实现而与所使用的拼接算法无关。

本申请要求于2018年7月11日提交的题为“用于利用基于网络的媒体处理的虚拟现实内容拼接控制的方法和装置(METHOD AND APPARATUS FOR VIRTUAL REALITY CONTENTSTITCHING CONTROL WITH NETWORK BASED MEDIA PROCESSING)”的美国临时申请No.62/686,571的优先权，其内容通过引用全部并入本文中。

技术领域

示例性实施例通常涉及基于网络的媒体处理中的视频拼接。

背景技术

全景(360度)拼接是通过组合来自多个相机镜头位置的图像来构造单像或立体的全景图像的过程。给定具有多个相机镜头的约束装备配置，借助于已知的相机校准参数和所期望的立体输出差异，从来自相邻相机的条带创建左右透视等矩形图像。在拼接多个图像时的问题是视差会导致干扰伪影(例如，接合(seam))，这些伪影可以呈现为拼接条带之间的间断。用于解决此问题的一些方法包括使用诸如快速线性梯度域方法、或诸如深度或光流的慢速方法之类的不同策略来在条带之间进行融合。

在拼接过程中，需要诸如相机参数之类的某些信息、以及用于拼接过程的客观和主观要求。另外，被用于拼接的内容可以是碎片的和异构的。例如，可用于拼接的一些内容可以从单体相机、多鱼眼相机、或装备上的一组相机捕获。来自不同的源的相机可能无法被同步并且可能无法被统一地格式化。因此，指示来自不同的源的内容的内容特性的输入源内容参数对于拼接过程很重要，以便有效地且以最小的错误量来执行拼接。

发明内容

根据示例性实施例，提供了方法、装置和计算机程序产品，以提供了信令机制，该信令机制可以结合在运动图像专家组-I(MPEG-I)基于网络的媒体处理(NBMP)中定义的媒体处理管道中的媒体接口和交换机制来使用。特别地，根据示例性实施例，提供了方法、装置和计算机程序产品，以提供NBMP媒体接口机制，该NBMP媒体接口机制使得虚拟现实(VR)拼接能够在支持NBMP的系统内实现而与所使用的拼接算法无关。

在一个示例性实施例中，提供了一种方法，该方法包括捕获媒体内容。该媒体内容包括一个或多个视频。该方法还包括根据基于网络的媒体处理接口机制来传送媒体内容。该基于网络的媒体处理接口机制定义将要与媒体内容一起被传送的一组拼接输入参数。

在这种方法的一些实现中，基于网络的媒体处理接口机制定义将要与媒体内容一起被传送的一组摄取内容特性。在一些实施例中，一组摄取内容特性包括贡献源内容信息。在一些实施例中，一组拼接输入参数包括接合位置选择准则和收敛点选择准则。在一些实施例中，接合位置选择准则包括默认接合位置、接合厚度、以及接合自由度。

在另一个示例性实施例中，提供了一种装置，该装置包括至少一个处理器和至少一个存储器，该至少一个存储器包括用于一个或多个程序的计算机程序代码，该至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使得该装置捕获媒体内容。该媒体内容包括一个或多个视频。该计算机程序代码进一步被配置为与至少一个处理器一起使得该装置根据基于网络的媒体处理接口机制来传送媒体内容。该基于网络的媒体处理接口机制定义将要与媒体内容一起被传送的一组拼接输入参数。

在这种装置的一些实现中，基于网络的媒体处理接口机制定义将要与媒体内容一起被传送的一组摄取内容特性。在一些实施例中，一组摄取内容特性包括贡献源内容信息。在一些实施例中，一组拼接输入参数包括接合位置选择准则和收敛点选择准则。在一些实施例中，接合位置选择准则包括默认接合位置、接合厚度、以及接合自由度。