[发明专利]生成媒体文件的方法、装置和计算机可读存储介质

说明书

本发明涉及一种生成媒体文件的方法、装置和计算机可读存储介质，该方法包括：生成第一数据结构，该第一数据结构将轨的样本或子样本的子集分配至一个或多个样本组；生成第二数据结构，所述第二数据结构包括用于描述所述一个或多个样本组中的各个样本组的数据，所述第一数据结构包括第一分组类型，所述第二数据结构包括第二分组类型，其中所述第二数据结构包括用于指示用于描述所述一个或多个样本组中的各个样本组的数据是否随着时间不变的数据；以及生成包括所述样本以及所述第一数据结构和第二数据结构的媒体文件。

技术领域

本发明涉及用于封装和发送媒体数据的方法和装置。

背景技术

国际标准组织基础媒体文件格式(ISO BMFF，ISO/IEC 14496-12)是一种众所周知的灵活且可扩展的文件格式，其封装并描述用于本地存储或者用于经由网络或经由其它比特流传送机制进行传输的编码定时的或非定时的媒体数据。扩展的示例是ISO/IEC 14496-15，其描述了用于各种基于NAL(网络抽象层)单元的视频编码格式的封装工具。这种编码格式的示例是AVC(高级视频编码)、SVC(可分级视频编码)、HEVC(高效视频编码)、L-HEVC(分层HEVC)和VVC(多功能视频编码)。文件格式扩展的另一示例是ISO/IEC 23008-12，其描述了用于静态图像或诸如HEVC静态图像等的静态图像序列的封装工具。文件格式扩展的另一示例是定义了全向媒体应用程序格式(OMAF)的ISO/IEC 23090-2。ISO基础媒体文件格式是面向对象的。它由被称为框的与以唯一类型标识符(通常是四字符代码，也称为FourCC或4CC)表征的数据结构相对应的构造块构成。完整框是与另外包括版本和标志值属性的框类似的数据结构。在下面，术语框可以指定完整框或框这两者。这些框或完整框在ISOBMFF文件中分层地或顺次地组织，并且定义了用于描述编码定时或非定时媒体数据、其结构和定时(如果有)的参数。封装媒体文件中的所有数据(媒体数据和用于描述媒体数据的元数据)都包含在框中。文件中不存在其它数据。文件级框是不包含在其它框中的框。

在文件格式中，整体媒体呈现称为动画。动画由在文件顶层的动画框(具有四字符代码“moov”)描述。该动画框表示包含描述该媒体呈现的各种框的集合的初始化信息容器。它在逻辑上被分割为由轨框(具有四字符代码“trak”)所表示的轨。各个轨(由轨标识符(track_ID)唯一标识)表示属于呈现的媒体数据的定时序列(例如，视频或音频样本的帧)。在各个轨内，各个定时数据单元被称为样本；这可能是一帧视频、音频或定时元数据。按解码顺序的序列对样本隐式编号。各个轨框包含描述轨的样本的框的层级，例如，样本表框(“stbl”)包含轨中媒体样本的所有时间和数据索引。实际样本数据存储在与动画框级别相同的被称为媒体数据框(具有四字符代码“mdat”)或标识媒体数据框(具有四字符代码“imda”，与媒体数据框类似，但包含附加标识符)的框中。动画也可以在时间上被分段和组织为包含用于整个呈现的信息的动画框，接着是媒体片段的列表，即，耦接动画片段和媒体数据框(“mdat”或”imda”)的列表。在动画片段(具有四字符代码“moof”的框)内，存在用于描述媒体片段内的轨的轨片段(具有四字符代码“traf”的框)的集合，每个动画片段为零个或更多个轨片段。轨片段依次包含零个或更多个轨运行框(“trun”)，各个轨运行框记录该轨片段的样本的连续运行。

ISOBMFF文件可以包含形成多个轨的多个编码定时媒体数据或编码定时媒体数据的子部分。当子部分与视频源的随着时间推移所拍摄的一个或连续的空间部分(例如，随着时间推移所拍摄的至少一个矩形区域，有时被称为“图块”或“子图片”)相对应时，相应的多个轨可以被称为图块(tile)轨或子图片轨。

ISOBMFF及其扩展包括用以将轨、静态项或样本分组在一起并将组描述与它们相关联的若干分组机制。组通常共用通用语义和/或特性。

本发明人在描述和用信号通知与要发送的媒体数据有关的信息时注意到若干问题，特别是用于描述样本组或样本内的NAL单元组的问题。

一个示例涉及降低用信号通知随着时间不变的样本组的成本。