[发明专利]基于深度学习的汽车引擎声实时合成系统及方法

说明书

本发明提供了一种基于深度学习的汽车引擎声实时合成系统及方法，以及能够实时合成引擎声的汽车。汽车引擎声实时合成方法可包括：采集实时引擎转速数据和油门踏板压力数据；将采集的实时引擎转速数据和油门踏板压力数据作为预训练的基于神经网络的能量预测模型的输入，分别预测与待合成的引擎相关联的多个声音频率的能量值；以及基于多个声音频率的预测能量值还原音频信号的相位以合成引擎声。可选地，方法进一步包括在合成的引擎声上叠加环境噪声。

技术领域

本发明涉及汽车领域，更具体地，涉及一种基于深度学习的汽车引擎声实时合成系统及方法。

背景技术

引擎声是汽车上一个非常重要的特征，许多人在购买车辆时将引擎声作为需要考虑的一个方面。此外，引擎声还可以向驾驶员提示车辆的状态，许多有经验的驾驶员依靠引擎声就可以知道路况以及车辆的速度，并且可以依靠引擎声来维持稳定的车辆速度，有些经验丰富的司机甚至可以根据引擎的声音来切换档位。

近年来，随着电动汽车和混动汽车的发展，越来越多的人考虑购买更加环保的新能源汽车。然而，这些车辆没有传统汽车的汽油发动机或柴油发动机，即使有些新能源汽车车型也有着较为出色的加速性能，但却没有与之对应的、能让人兴奋的引擎声。这对人们的日常生活会造成一定的影响。一方面，驾驶员缺乏了引擎声音的指示，在某些情况下可能会误操作。一些研究也指出，缺乏引擎声反馈的驾驶员通常会低估汽车的速度。另一方面，没有声音的引擎对行人和其他车辆也会造成一定的影响，增加了发生交通事故的风险，尤其是对于有视觉障碍的病人。此外，缺乏了传统意义上的引擎声，会使得一部分驾驶员在驾驶电动汽车的时候缺乏驾驶传统汽油机或柴油机汽车时的激情和兴奋，进而也会对新能源汽车的销售前景和用户体验带来负面影响。

为了降低交通事故的风险，有些公司采用了主动发声系统(Active SoundDesign，ASD)来产生引擎声。这类系统首先通过降噪技术消除原始的电动引擎声，再通过车载音响播放出预先录制的引擎声。这类方案的缺点是预先录制的引擎声无法对应于汽车所处的各种实时状态，因此会显得不真实。况且，即使如此，这类传统方法要合成出一种引擎在不同状态和转速下的声音往往需要大量的经济成本和专业人工经验。

发明内容

提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

本发明旨在解决上述现有技术存在的问题，提出了一种基于深度学习的引擎声实时合成方法及系统，其能够实时合成引擎声，并且声音与原始引擎真实数据相似，扩大了引擎声合成的应用范围。

根据本发明的一个方面，提供了一种用于实时合成引擎声的方法，其中所述方法包括：

采集实时引擎转速数据和油门踏板压力数据；

将采集的实时引擎转速数据和油门踏板压力数据作为预训练的基于神经网络的能量预测模型的输入，分别预测与待合成的引擎相关联的多个声音频率的能量值；以及

基于所述多个声音频率的预测能量值还原音频信号的相位以合成引擎声。

根据本发明的一个实施例，所述方法还包括：在合成的引擎声上叠加环境噪声。

根据本发明的进一步实施例，所述多个声音频率至少包括：待合成的引擎的基频、半基频以及2倍基频。

根据本发明的进一步实施例，所述能量预测模型基于循环神经网络RNN，其中针对所述多个声音频率中的每一个频率，构建一个由一个长短时记忆LSTM层以及若干个完全连接的层的RNN。

根据本发明的进一步实施例，所述能量预测模型基于循环神经网络RNN，其中针对所述多个声音频率，构建一个具有相应数量个层级联的长短时记忆LSTM层的RNN。