[发明专利]人工智能音效创作及视频适配的方法与系统

说明书

本发明公开一种人工智能音效创作及视频适配的方法与系统。所述系统包括：AI预处理模块、音视频时间线装置、音效库和混音装置。所述创作方法，首先通过AI预处理模块梳理和描述影视剧脚本或短视频，生成环境音效描述文件和动作音效描述文件；再由所述素材库调用所述音效素材，并按照音视频时间线来安排相应的视频、环境音效和动作音效时间线素材。最后通过混音装置，将所有素材按照时间线进行混音，创作出音效与视频适配的整体音效效果。

技术领域

本发明涉及人工智能、音乐和互联网技术领域，特别涉及一种人工智能音效创作及视频适配的方法与系统。

背景技术

音效用来增进场面之真实感、气氛或戏剧讯息，可以增强对影视作品、电子游戏、音乐或其它媒体艺术或其它内容的声音或音乐效果。音效包括环境音效、动作音效和音乐音效，是人工制造或加强的声音。

音效创作，总体上讲是按照影视节目创作的意图，将声音跟画面一起按照叙事的要求和手法去表达、呈现，以达到声画结合的综合效果。因此，要将综合表达的要求，也就是我们所说的影视语言的叙述表达要求，转换为音效要求和元素，通过录音师的理解和经验，创作出符合要求的音效作品。

由此来看，音效创作是一个复杂的过程，涉及到对需求的理解、创作元素的准备，与环境及画面动作的配合，同期录音中多种声音和效果的提取等。音效创作的工作量也非常巨大，往往涉及数十个环境音效片段、数千个动作效果。到目前为止，这个复杂的过程和繁重的劳动完全由人来执行和完成。从而，哪怕是一个很简短的作品，也需要耗费大量的人力和物力。

发明内容

本发明为有效地解决上述问题，减轻创作者在素材准备所耗费的时间和精力，让其将更多的时间和精力放在创作上，提供一种人工智能音效创作及视频适配的方法与系统。

本发明所述人工智能音效创作及视频适配系统包括：AI预处理模块、音视频时间线装置、音效库和混音装置：

所述AI预处理模块，用于处理所输入的文本需求描述、影视剧脚本或短视频。通过AI将其场景、情绪与气氛、画面动作等进行梳理，分别生产环境音效描述文件和动作音效描述文件；

所述音视频时间线装置，用于根据视频画面参考时间线，安排环境音效时间线、动作音效时间线、声音和音乐时间线等；

所述音效库，用于存储各种环境音效和动作音效，按照所述环境音效描述文件和所述动作音效描述文件分类要求分类，便于检索和调用；

所述混音装置，用于将所述音视频时间线装置准备好的环境音效、动作音效和声音、音乐等按照时间线进行混音，形成整体声音效果。

本发明所述人工智能音效创作及视频适配方法包括如下步骤：

步骤1、梳理场景：通过人工智能对脚本、视频片段、需求文字描述等的分析和理解，梳理音效场景，场景中的对象与动作，生成所述音效场景描述文件和所述动作描述文件；

步骤2、匹配音效片段：根据步骤1获得的所述音效描述文件进行适配，从音效库检索和调用相应的环境音效，如果所述音效库中没有适配的环境音效片段，需要专门制作；

步骤3、匹配音效元素：根据步骤1获得的所述动作音效描述文件，选择动作音效和确定动作发生时间点；从所述音效库检索和调用相应的动作音效元素，如果音效库中没有适配音效元素，需要专门制作；

步骤4、准备音视频时间线，将所准备好的视频、环境音效片段和动作音效元素、配音和音乐等，根据画面参考时间线，分别安排在时间线上。例如，将环境音效安排放在环境音效时间线上，动作音效元素安排在动作音效时间线上，语言声音和音乐也安排在相应的时间线上；

步骤5、混音处理，将同期声、环境音效、动作音效按照时间线进行混音处理，在混音处理过程中，录音师根据自己对环境、场景、情节、情感的理解，对所述音效作进一步处理，使所有音效达到统一效果。