[发明专利]视频通知的空间音频扩展

说明书

公开了将空间信息分配给音频片段。一种方法包括：接收非空间化的并且与第一视频帧相关联的第一音频片段；识别第一视频帧中的视觉对象；识别第一音频片段中的听觉事件；识别多个视觉对象中的一个视觉对象以及多个听觉事件中的一个听觉事件之间的匹配；并基于视觉对象的位置为听觉事件分配空间位置。

技术领域

本公开涉及空间音频，且更具体地涉及从非空间化音频记录获得空间音频信息。

背景技术

在生活中，典型的设置(例如，场景)包括多个不同的听觉事件。听觉事件可以被认为是具有源(即声音的产生者或生成者)和方向(即从其听到声音的方向)的声音。扩散声音不会从特定方向发起。

听觉事件可以包括语音、音乐和乐器(例如，钢琴、小提琴、音乐会、大提琴等)、自然声音(例如，雨、风、雷等)、人类情感(例如，哭泣、笑、欢呼等)、动物的发声(例如，咆哮、咕噜声等)和其他人工产物(例如，爆炸、汽车和门铃)等等。

典型设置的视频记录包括该设置的所有(或至少大部分)听觉事件。可以使用任意数量的记录设备来获取视频记录，其范围可以从简单的手持移动设备(例如，智能电话)到复杂的记录设备(例如，球形或360°相机)。一些记录设备可能无法捕获空间音频信息(例如，记录中包括的音频事件的方向和/或位置)。

为了可以以模仿在现实生活中听到(例如，体验)该设置的方式的方式回放设置的记录，希望对于不包括空间音频信息的那些记录导出(例如，提取、识别等)空间音频信息。

发明内容

本文公开了视频通知的空间音频扩展的实现方式。

在本文描述的第一示例中，存在一种将空间信息分配给音频片段的方法。该方法包括：接收非空间化并且与第一视频帧相关联的第一音频片段；识别在第一视频帧中的视觉对象；识别在第一音频片段中的听觉事件；识别在多个视觉对象中的一个视觉对象和多个听觉事件中的一个听觉事件之间的匹配；且基于视觉对象的位置为听觉事件分配空间位置。

该方法还可以包括识别不匹配的听觉事件。不匹配的听觉事件是与第一视频帧中识别的视觉对象不匹配的听觉事件。可以在用户界面中呈现不匹配的听觉事件。

该方法可以包括从用户接收将不匹配的听觉事件向在第一视频帧中识别的视觉对象中的另一个视觉对象的分配。该方法可以包括从用户接收将不匹配的听觉事件分配为扩散声音的指示。该方法可以包括从用户接收将不匹配的听觉事件分配为定向声音和针对不匹配的听觉事件的空间方向的指示。

该第一视频帧可以是球形视频的帧。

该第一音频片段可以是单声道的。

识别第一音频片段中的听觉事件可以包括使用盲源分离来通过将第一音频片段分解成多个轨道来识别第一音频片段中的听觉事件，每个轨道对应于相应的听觉事件。

识别在第一视频帧中的视觉对象可以包括使用图像辨识来识别在第一视频帧中的视觉对象。

该方法还可以包括生成音频输出，该音频输出包括多个听觉事件中的一个听觉事件和听觉事件的空间位置。

该方法可以包括接收第二音频片段，其中，第二音频片段包括听觉事件。可以接收第二视频帧，其中，该第二视频帧不包括视觉对象。

该方法可以包括：至少部分地基于第一视频帧的至少一个子集来确定视觉对象的运动向量，且基于运动向量将环境空间位置分配给该多个听觉事件中的一个听觉事件。

该方法可以包括接收第二音频片段，其中，第二音频片段包括听觉事件。可以接收第二视频帧，其中，该第二视频帧不包括视觉对象。

该方法可以包括：基于在该第一视频帧和该第二视频帧之间的时间差，将环境空间位置或扩散位置之一分配给听觉事件。