[发明专利]文本与音频呈现处理方法及装置

说明书

本发明公开了一种文本与音频呈现处理方法，包括：脚本编辑器生成混音脚本；音效处理器获取混音脚本，根据混音脚本对段落施加音效处理；混音器获取混音脚本，根据混音脚本对段落执行混音操作得到混音结果并输出至播放器；播放器播放混音结果。此外，本发明还公开了一种文本与音频呈现处理装置。采用本发明可以实现书籍听读一体的文本与音频呈现，通过混音脚本将音频数据结构化，并建立音频与文字之间的联系。

技术领域

本发明涉及录音技术领域，特别涉及一种文本与音频呈现处理方法及文本与音频呈现处理装置。

背景技术

如今，一本书可能存在文字版本和音频版本两种形式。传统阅读软件只呈现文字版本。传统听书软件只能呈现音频版本。

随着听书形式的普及，用户需要一种可以在阅读和收听之间无缝切换的新模式。例如在一种日常场景中，用户晚上在家阅读书籍的文字版，第二天早上开车从昨晚读到的地方继续收听书籍的音频版，下午再从早上听到的地方继续阅读文字版。问题在于，现有技术中书籍的文字版和音频版的制作是两个独立的过程，即其音频版是独立的音频数据，和文字版之间没有任何联系。为了实现听读一体的文本与音频呈现，则需要将音频数据结构化，并建立音频与文字之间的联系。

发明内容

基于此，为解决现有技术中的技术问题，特提出了一种文本与音频呈现处理方法，包括：

步骤1，脚本编辑器生成混音脚本；所述混音脚本包括一个或多个段落；

步骤2，音效处理器获取混音脚本，根据混音脚本对段落施加音效处理；

步骤3，混音器获取混音脚本，根据混音脚本对段落执行混音操作得到混音结果并输出至播放器；

步骤4，所述播放器播放混音结果。

在一种实施例中，生成的所述混音脚本包括段落对应的录音素材、音频素材、音效处理方式、段落操作方式、段落呈现顺序、段落呈现方式；

所述段落包括文本段落、音频段落；所述文本段落包括所述混音脚本的正文文本，以及该文本段落对应配音员根据正文文本配音演绎的录音素材；所述文本段落包括前景文本段落、背景文本段落；

所述音频段落包括一种或多种音频素材及对音频素材的段落操作；每个音频段落对应一个音频素材；所述音频素材的类型包括前景音效、前景音乐、背景音效、背景音乐、静音；

对音频素材的段落操作包括开始操作、结束操作；音频段落的类型包括前景音效、前景音乐、静音、背景音效开始、背景音效结束、背景音乐开始、背景音乐结束。

在一种实施例中，所述混音器包括主轨道、辅轨道，所述主轨道和所述辅轨道分别用于承载不同类型的段落；

在所述主轨道中放置前景文本段落以及音频段落类型为前景音效、静音的音频段落；在所述辅轨道中放置背景文本段落以及音频段落类型为背景音效开始、背景音效结束、背景音乐开始、背景音乐结束的音频段落；

所述混音脚本的段落呈现顺序为播放录音素材及音频素材的顺序；所述主轨道中的段落之间不存在时间上的重叠，前一段落结束后立即播放下一段落；所述主轨道中的文本段落之间设置有音频素材类型为静音的音频段落；所述辅轨道中的段落与主轨道中的段落在时间上存在重叠，并且所述辅轨道中的段落相互之间在时间上也存在重叠；

所述辅轨道中段落播放的开始时间由混音脚本中该段落前一主轨道段落的结束时间决定；

所述辅轨道中段落播放的结束时间由混音脚本中该段落前一个主轨道段落的结束时间决定。

在一种实施例中，所述音效处理器对音频段落施加一个或多个音效处理；音效处理具有对应的操作参数；音效处理包括整体增益、局部增益、淡入淡出、均衡、环境、降噪、压缩。

在一种实施例中，所述混音结果包括音频文件、混音脚本及混音脚本中各个段落的时间戳；所述时间戳包括开始时间戳和结束时间戳；

所述时间戳用于基于语义的音频内容定位；根据时间戳从音频时刻定位对应的文本段落，或者从文本段落定位对应的音频时刻。