[发明专利]媒体感知导航元数据

说明书

本公开涉及用于处理具有视频内容和相关联音频内容的媒体内容的方法和设备。一种处理具有视频内容和相关联音频内容的媒体内容的方法包括，所述方法包含：接收所述视频内容和所述相关联音频内容，分析所述相关联音频内容，基于所述分析确定用于实现所述媒体内容的导航的一或多个导航点(其中所述一或多个导航点指示所述相关联音频内容中用于短期倒回和/或快进)，将所述一或多个导航点嵌入所述媒体内容的元数据中，并输出所述视频内容、所述相关联音频内容和所述元数据。

相关申请的交叉引用

本申请要求2017年8月28日提交的美国临时专利申请第62/550,747号和2017年8月28日提交的欧洲专利申请第17188118.8号的优先权，其全部公开内容通过引用整体并入本文。

技术领域

本公开涉及处理包括视频内容和相关联音频内容的媒体内容的方法。本公开进一步涉及生成媒体内容的媒体感知导航元数据(例如，用于在媒体内容的回放期间增强用户体验的媒体感知导航元数据)的方法。本公开还涉及相应的设备，诸如例如编码器或解码器。本公开特别地但非排他地适用于AC-4编解码器。

背景技术

例如，当享用包含视频内容和相关联音频内容的媒体内容(例如，电影或电视节目)(例如，经由流服务)时，可能出现某一个用户(例如，观看者)错过内容的情况。例如，用户可能没有完全听到或以其它方式听错演员刚刚说过的话。在常规媒体播放器中，可以选择暂停、倒回和再次播放。对于Apple用户可以要求Siri重放。对于用户可以按下即时重放按钮。然而，用于重放错过的内容的常规方法并不会感知实际错过的内容。因此，媒体内容通常倒回得太远，或倒回到演员对话中间的一个点。对于享用媒体内容的用户而言，这种体验可能是令人沮丧的。

字幕时间码不适于解决本问题，因为其并不总是与音频内容同步出现(例如，较长的字幕往往会在演员实际开始讲话之前就很好地显示出来)。

因此，需要用于处理包含视频内容和相关联音频内容的媒体内容的改善的方法和设备。进一步需要实现内容感知媒体导航的此类方法和设备。

发明内容

根据本公开的一方面，描述了一种处理具有视频内容(例如，视频轨道或视频轨道的一部分)和相关联音频内容(例如，音频轨道，例如语音或对话轨道或音频轨道的一部分)的媒体内容的方法。所述方法也可以被称为一种生成媒体内容的元数据的方法。音频内容可以与视频内容对齐(时间对齐)。可以在比特流中或从媒体内容存储部分(存储单元)接收媒体内容。所述方法可以包含接收视频内容和相关联音频内容。所述方法可以进一步包含分析相关联音频内容。所述方法可以进一步包含基于分析确定用于实现媒体内容的导航的一或多个导航点。一或多个导航点可以指示相关联音频内容中用于短期倒回和/或快进的感兴趣点。导航点可以例如是跳转点。所述方法可以进一步包含将一或多个导航点嵌入媒体内容的元数据中。所述方法可以又进一步包含输出视频内容、相关联音频内容和元数据。元数据可以由应用(例如，媒体播放器应用)使用，以用于生成媒体内容的视听表示。元数据可以与相关联音频内容对齐(同样，元数据可以被称为与视频内容对齐)。此外，元数据可以实现媒体内容的内容感知导航(例如，视频内容的内容感知导航)。

如此配置，所提出的方法将有用的元数据添加到媒体内容(例如，添加到比特流，例如AC-4比特流)，所述元数据允许回放端处的媒体内容的高分辨率内容感知导航。因此，用户能够直接跳到他们感兴趣的媒体内容中的点，例如他们可能听错了的对话话语的开头。这避免了在媒体内容导航时经常令人沮丧的不精确性，并且不存在在感兴趣点之前的媒体内容的不必要重放。由于多种编码器(例如，AC-4编码器)出于增强对话的目的而按标准进行对话检测，所以当在这种编码器处进行时，所提出的方法不需要显著增加计算复杂性。此外，如果可以使用单独的对话轨迹(通常是这种情况)，则导航点的定位可以高度精确。