[发明专利]视频通知的空间音频扩展

权利要求书

1.一种将空间信息分配给音频片段的计算机实现的方法，包括：

接收第一音频片段，其中，所述第一音频片段是非空间化的，并且所述第一音频片段与第一视频帧相关联；

识别在所述第一视频帧中的视觉对象；

识别在所述第一音频片段中的听觉事件；

识别在所述视觉对象中的视觉对象和所述听觉事件中的听觉事件之间的匹配；以及

基于所述视觉对象的位置来将空间位置分配给所述听觉事件。

2.根据权利要求1所述的方法，还包括：

识别不匹配的听觉事件，其中，所述不匹配的听觉事件与所述第一视频帧中的所识别的视觉对象是不匹配的；以及

在用户界面中呈现所述不匹配的听觉事件。

3.根据权利要求2所述的方法，还包括：

从用户接收将所述不匹配的听觉事件向在所述第一视频帧中识别的视觉对象中的另一个视觉对象的分配。

4.根据权利要求2所述的方法，还包括：

从用户接收关于将所述不匹配的听觉事件分配为扩散声音的指示。

5.根据权利要求2所述的方法，还包括：

从用户接收关于将不匹配的听觉事件分配为定向声音和针对所述不匹配的听觉事件的空间方向的指示。

6.根据权利要求1至5中任一项所述的方法，其中，以下至少之一：

所述第一视频帧是球形视频的帧；或者

所述第一音频片段是单声道的。

7.根据权利要求1至6中任一项所述的方法，其中，识别在所述第一音频片段中的听觉事件包括：

通过将所述第一音频片段分解为多个轨道，使用盲源分离来识别在所述第一音频片段中的听觉事件，每个轨道对应于相应的听觉事件。

8.根据权利要求1至7中任一项所述的方法，其中，识别在所述第一视频帧中的视觉对象包括：

使用图像辨识来识别在所述第一视频帧中的视觉对象。

9.根据权利要求1至8中任一项所述的方法，还包括：

生成音频输出，所述音频输出包括所述听觉事件中的听觉事件和所述听觉事件的空间位置。

10.根据权利要求1至9中任一项所述的方法，还包括：

接收第二音频片段，其中，所述第二音频片段包括所述听觉事件；

接收第二视频帧，其中，所述第二视频帧不包括所述视觉对象；

至少部分地基于所述第一视频帧的至少子集来确定所述视觉对象的运动向量；以及

基于所述运动向量，将环境空间位置分配给听觉事件中的听觉事件。

11.根据权利要求1至10中任一项所述的方法，还包括：

接收第二音频片段，其中，所述第二音频片段包括所述听觉事件；

接收第二视频帧，其中，所述第二视频帧不包括所述视觉对象；以及

基于在所述第一视频帧和所述第二视频帧之间的时间差，将环境空间位置或扩散位置之一分配给所述听觉事件。

12.根据权利要求1所述的方法，其中：

识别在所述第一视频帧中的视觉对象包括：将相应的视觉标签分配给在所述第一视频帧中的视觉对象；

识别在所述第一音频片段中的听觉事件包括：

将所述第一音频片段分成多个轨道；以及

将相应的音频标签分配给多个轨道；以及

识别在所述视觉对象中的视觉对象和所述听觉事件中的听觉事件之间的匹配包括：将所述相应的音频标签中的一些自动地匹配到所述视觉标签中的一些。