[发明专利]重构360度音频/视频文件的方法和装置

说明书

本发明公开一种重构360度音频/视频文件的方法和装置。该方法包括：接收由多个捕获设备捕获的多个音频轨道和视频轨道，多个音频轨道至少包括第一和第二音频轨道，多个视频轨道至少包括第一和第二视频轨道，第一捕获设备捕获第一音频轨道和第一视频轨道，第二捕获设备捕获第二音频轨道和第二视频轨道；以及如果从第一视频轨道和第二视频轨道获得的视频同步信息可用：使用视频同步信息将第一音频轨道、第一视频轨道与第二音频轨道、第二视频轨道对齐；从包括第一音频轨道和第二音频轨道的对齐音频轨道生成360度音频；从包括第一视频轨道和第二视频轨道的对齐视频轨道生成360度视频；以及提供包括360度音频和360度视频的360度音频和视频数据。

技术领域

本发明有关于从多个捕获设备产生的多个音频和视频轨道的360度音频和视频重构(reconstruction)。具体地说，本发明涉及不同音频和视频轨道(track)之间的音频和视频同步。

背景技术

360度视频，也称为沉浸式视频(immersive video)，是一种新兴的技术，它能提供“感觉身临其境(feeling as sensation of present)”。通过围绕用户覆盖全景(panoramic view)的环绕场景，特别是360度视野，使用户获得沉浸感。“感觉身临其境”可以进一步通过立体渲染来提高。因此，全景视频被广泛应用于虚拟现实(Virtual Reality，VR)应用中。

360度视频涉及使用多台摄像机来捕获一个场景，以覆盖全景，如360度视野。伴随着音频，一组相机(或捕获设备)被安排捕获每个视频的360度视野。通常两个或更多捕获设备用于捕获与相关音频的360度视频。来自多个捕获设备的视频和音频被用来形成重构的360度视频和重构的360度音频。在本发明中，来自每个捕获设备的音频和视频分别被称为音频轨道和视频轨道。

在360度音频/视频录制方案中，从多个捕获设备记录的视频和音频轨道需要对齐(aligned)。每个捕获设备可以使用自己的设置。360度音频和360度视频也分别被缩写为“360音频”和“360视频”。通常每个捕获设备都可以在自己的时钟上操作，并且在不同的捕获设备之间没有共同时钟(common clock)。因此，来自各种捕获设备的音频/视频轨道可能不是对齐的。也有其他因素造成的各种捕获设备之间的对齐问题。例如，捕获设备的设备设置可能是不同的。

图1为在360度音频和视频重构处理中的对齐问题的方案。如图1所示，使用N个捕获设备(110-1，110，…，110-N)以及N是等于或大于2的整数。每个捕获设备产生相应的音频轨道(120-1，120-2，…，或120-N)和相应的视频轨道(130-1，130-2，…，或130-N)。这些音频轨道被提供给360度音频重构单元140，以生成重构的360度音频，这些视频轨道被提供给360度视频重构单元150，以生成重构的360度视频。重构的360度音频和重构的360度视频都被包含在360度文件160中。由于不同的捕获设备的音频轨道和视频轨道可能是不同步的，对于360度音频重构和360度视频重构来说，如何同步这些音频和视频轨道成为一个问题。

在该领域中众所周知各种各样的360度音频重构技术。例如，音频信号处理可以作为产生360度音频的一种手段，用来产生空间音频(spatial audio)。关于360度音频重构，用户可以根据他/她的观看方向听到声音，实现身临其境的声音体验。有多种不同的360度音频形式被广泛使用，如基于信道的，基于对象的或基于场景的。在本领域中，已知各种图像/视频拼接技术。也有各种虚拟现实视频格式(VR video formats)或各种360度视频格式，如球形格式(spherical format)和立方格式(cubic format)。这些技术是本领域已知的技术。由于本发明的重点是在各种音频/视频轨道之间的同步问题，因此在本申请中省略360度音频重构和360度视频重构的细节。

由于各种音频/视频轨道之间的同步问题，因此希望开发出音频/视频对齐技术，以正确对齐来自各种捕获设备的音频/视频轨道，以提高重构的360度音频和视频的质量。