[发明专利]音频指纹提取和建库方法、及音频识别和检索方法与系统

说明书

公开了一种音频指纹提取和建库方法，以及相应的身份识别以及音频检索方法和系统。该音频指纹提取方法，包括：获取音频的频谱；基于频谱内参考峰值点与其他峰值点的频率时间关系，生成峰值点对；基于峰值点对生成所述音频的音频指纹。音频指纹可以包括常规指纹、旋律指纹、伴奏指纹以及旋律伴奏联合指纹。提取的音频指纹可以用于音频身份识别和音频检索库的建立，以方便对待定或查询音频的身份判定。

技术领域

本公开涉及一种音频处理领域，尤其设置一种音频指纹提取和建库方法，以及相应的音频识别和检索方法与系统。

背景技术

随着数字技术和音乐市场的发展，每个音乐流媒体服务商所拥有的曲库(音频库)也变得越来越大。例如，一个成熟的商用曲库可能包括千万级的音乐数据。为此，需要一种能够以相对精简的方式描述音乐数据的方法，例如，音频指纹。为每个音频提取的音频指纹可以被放入音频指纹库中，用以对输入音频进行匹配与检索，例如，音乐播放App对应的“听歌识曲”功能。

面对百万甚至千万级的音乐数据，如何准确且高效地描述音乐数据，如何快速进行音频检索和匹配，成为了本领域内的一大难题。

发明内容

本公开要解决的一个技术问题是提供一种改进的音频指纹提取方案，进而提供一种基于上述提取指纹的建库方案，建立的音频指纹库可用于与客户端的交互以实现音频检索功能。

根据本公开的第一方面，提供了一种音频指纹提取方法，包括：获取音频的频谱；基于频谱内参考峰值点与其他峰值点的频率时间关系，生成峰值点对；基于峰值点对生成所述音频的音频指纹。

根据本公开的第二方面，提供了一种音频指纹库建立方法，包括：获取曲库内的音频；根据本公开第一方面所述的方法，提取获取音频的音频指纹；以及将提取的音频指纹进行排序。

根据本公开的第三方面，提供了一种音频检索方法，包括：获取查询音频；提取所述查询音频的查询音频指纹；将所述查询音频指纹送入根据本公开第二方面建立的音频指纹库；基于所述音频指纹库进行音频指纹的匹配；以及基于音频指纹的匹配，返回音频检索结果。

根据本公开的第四方面，提供了一种音频识别方法，包括：根据本公开第一方面所述的方法，提取目标音频的音频指纹；以及基于所述音频指纹，判定音频身份。

根据本公开的第五方面，提供了一种音频检索系统，包括客户端，服务器和音频指纹库，其中，所述客户端用于：获取用户输入的查询音频，所述服务器用于：将从查询音频提取的查询音频指纹输入所述音频指纹库进行匹配；以及基于音频指纹的匹配，向所述用户返回音频检索结果，其中，查询音频和音频指纹库中音频的音频指纹基于如下操作生成：基于音频的频谱内参考峰值点与其他峰值点的频率时间关系，生成峰值点对；基于峰值点对生成对应音频的音频指纹。

由此，本发明的音频指纹提取方案能够提取出精准描述且易于检索的音频指纹，上述音频指纹还可以进行旋律与伴奏的分类，从而为以此建立的音频指纹库提供更为丰富的指纹素材，并为后续的指纹检索提供了更多的检索方式。另外，建立的指纹库可以按照音频热度进行分片，以便在后续提供冷热分离式的高效检索。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了根据本发明一个实施例的音频指纹提取方法的示意性流程图。

图2示出了哈希时间对生成的一个例子。

图3示出了根据本发明一个实施例的音频指纹库建立方法的示意性流程图。

图4示出了根据本发明一个实施例的音频检索方法的示意性流程图。

图5示出了根据本发明进行音频检索的示意图。