[发明专利]基于跨被试多模态的语音合成方法及相关设备

说明书

本发明涉及人工智能领域，公开了一种基于跨被试多模态的语音合成方法及相关设备，该方法包括：获取源域和目标域内的原始语音数据和原始脑电数据，并对原始语音数据和原始脑电数据进行预处理，得到各自领域内的语音数据和脑电数；将语音数据和脑电数据输入至预设的自编码器进行多视图变分自编码，得到各自领域内的隐含表征；将源域的隐含表征映射到预设的特征空间中，并根据预设的分类器，对源域的隐含表征进行分类学习，得到情感信息；根据情感信息，对各自领域内的隐含表征进行对抗学习，得到情感语音。本发明实现了对情感语音合成的迁移学习，提高了情感语音的合成效率。

技术领域

本发明涉及人工智能领域，尤其涉及一种基于跨被试多模态的语音合成方法及相关设备。

背景技术

带有情感特征的语音合成是人工智能未来的发展趋势，通过赋予计算机识别、理解、表达和适应人类情感的能力来建立和谐人机环境。情感计算的基本问题包括通过表情、动作、脑电等生理信号进行情绪识别。

目前的情感语音合成技术大部分是监督学习，然而，现有技术中，当获取新的被试者的语音数据进行语音合成时，不能对情感语音合成进行多源的迁移学习，即难以根据新的被试者的语音数据进行情感语音合成，导致情感语音合成效率低。因此，如何通过迁移学习进行情感语音的合成是一个亟需解决的问题。

发明内容

本发明的主要目的在于解决现有技术中不能通过迁移学习合成情感语音，导致情感语音的合成效率低的技术问题。

本发明第一方面提供了一种基于跨被试多模态的语音合成方法，所述基于跨被试多模态的语音合成方法包括：获取源域和目标域内的原始语音数据和原始脑电数据，并对所述原始语音数据和所述原始脑电数据进行预处理，得到各自领域内的语音数据和脑电数据；将所述语音数据和所述脑电数据输入至预设的自编码器进行多视图变分自编码，得到各自领域内的隐含表征；将所述源域的隐含表征映射到预设的特征空间中，并根据预设的分类器，对所述源域的隐含表征进行分类学习，得到情感信息；根据所述情感信息，对各自领域内的所述隐含表征进行对抗学习，得到情感语音。

可选的，在本发明的第一方面的第一种实现方式中，所述将所述语音数据和所述脑电数据输入至预设的自编码器进行多视图变分自编码，得到各自领域内的隐含表征包括：提取所述语音数据中的音素及其音素特征，并根据预设的音素类别，对所述音素的音素特征进行分析，确定各所述音素对应的音素类别；根据所述音素及各所述音素对应的音素类别，对所述脑电数据进行分析，确定各音素对应的脑电特征；将所述源域和所述目标域内的所述语音数据和所述脑电数据输入至预设的自编码器中，调用所述自编码器，对所述语音数据中的音素进行多视图变分自编码，并对所述脑电特征进行多视图变分自编码，得到各自领域内的隐含表征。

可选的，在本发明的第一方面的第二种实现方式中，在所述将所述源域和所述目标域内的所述语音数据和所述脑电数据输入至预设的自编码器中，调用所述自编码器，对所述语音数据中的音素进行多视图变分自编码，并对所述脑电特征进行多视图变分自编码，得到各自领域内的隐含表征之后，还包括：计算所述源域和所述目标域内的所述隐含表征的先验分布，并对所述隐含表征进行似然估计处理，得到似然函数；根据预设的贝叶斯公式，对所述先验分布和似然函数进行概率计算，得到后验分布；根据预设的期望-最大值算法和预设的概率密度函数，对所述隐含表征进行参数计算，得到协方差矩阵和混合系数；根据所述协方差矩阵和混合系数，对所述后验分布进行混合高斯处理，生成高斯混合模型。

可选的，在本发明的第一方面的第三种实现方式中，所述将所述源域的隐含表征映射到预设的特征空间中，并根据预设的分类器，对所述源域的隐含表征进行分类学习，得到情感信息包括：将所述源域内的隐含表征输入至预设的特征提取器中；根据所述特征提取器中的损失函数，计算所述隐含表征的情感特征参数，并根据所述情感特征参数，将所述隐含表征映射到预设的特征空间中；根据预设的分类器，计算所述情感特征参数与预设的情感特征类别的线性相关值，并根据所述线性相关值确定所述情感特征参数的类别；根据所述情感特征参数的类别，对所述源域的隐含表征进行分类学习，得到情感信息。