[发明专利]全景视频的音频处理方法及装置

说明书

本申请实施例公开了全景视频的音频处理方法及装置，该方法包括：获取包含有全景视频数据和多声道音频数据的全景音视频文件；对全景视频数据和多声道音频数据进行全景映射处理，而后对全景视频数据和多声道音频数据进行播放；当在播放过程中全景视频数据对应的中心观看对象的位置数据发生变更时，将中心观看对象变更后的位置数据应用至多声道音频数据对应的中心聆听对象上，以改变音频播放效果。本方案对全景视频数据和多声道音频数据进行播放，在播放过程中，若全景视频数据对应的中心观看对象的位置数据发生变更时，多声道音频数据的音频播放效果也会跟着中心观看对象而改变，从而使得音频数据和视频数据同步变化，提升用户沉浸式体验。

技术领域

本申请实施例涉及数据处理领域，具体涉及一种全景视频的音频处理方法及装置。

背景技术

全景视频也称为环绕视频，或沉浸式视频或球形视频，是使用全向摄像机或一组摄像机拍摄的同时记录各个方向的视图的视频录像，支持多角度视频播放即“360度视频播放”，在显示器上播放期间，观看者可以像控制全景图一样控制观看方向，也可以在球形或球形的某个部分布置的显示器或投影仪上播放。

目前研究出了许多适用于耳机的传统HRTF技术，这些适用于耳机的HRTF利用原始的环绕声音频，通过一系列算法将四周的多个环绕声道在立体声耳机中模拟出来，使听众可以感觉到四周仿佛都有发声源。

然而现有技术中的全景视频在播放时通过拖拽画面或者通过控制手机移动等方式观看不同方位时，听到的声音不会发生变化，例如画面右边有发声源，此时将画面正对该发声源，声音仍然是在右边，而不是在正前方；用户在观看全景视频时无法感受到声音方位的变化，影响了用户体验。

发明内容

鉴于上述问题，本申请提出了一种全景视频的音频处理方法、装置、计算设备及计算机存储介质，用于解决以下问题：现有的音频处理方法使得用户在观看全景视频时无法感受到声音方位的变化，影响了用户体验。

根据本申请实施例的一个方面，提供了一种全景视频的音频处理方法，包括：

获取包含有全景视频数据和多声道音频数据的全景音视频文件；

对全景视频数据和多声道音频数据进行全景映射处理，而后对全景视频数据和多声道音频数据进行播放；

当在播放过程中全景视频数据对应的中心观看对象的位置数据发生变更时，将中心观看对象变更后的位置数据应用至多声道音频数据对应的中心聆听对象上，以同步改变视频播放效果和音频播放效果。

进一步地，获取包含有全景视频数据和多声道音频数据的全景音视频文件进一步包括：

响应于用户发送的全景音视频数据获取请求，从服务端中拉取由生产端上传的全景音视频文件。

进一步地，对全景视频数据和多声道音频数据进行全景映射处理进一步包括：

将全景视频数据映射至全景映射球面上；

将多声道音频数据映射至音频空间中的各个音频处理节点上。

进一步地，将全景视频数据映射至全景映射球面上进一步包括：

生成全景映射球面，将全景视频数据中的帧图片贴图至全景映射球面上。

进一步地，生成全景映射球面进一步包括：

将全景视频数据中的帧图片的侧边作为球面半圆弧生成对应的全景映射球面。

进一步地，将多声道音频数据映射至音频空间中的各个音频处理节点上进一步包括：

调用音频上下文对象，在音频上下文对象中添加与多声道音频数据的各个声道对应的音频处理节点；

针对各个声道中的每个声道，根据该声道的预设方位数据设置该声道对应的音频处理节点的位置数据。