[发明专利]基于跨被试多模态的语音合成方法及相关设备

权利要求书

1.一种基于跨被试多模态的语音合成方法，其特征在于，所述基于跨被试多模态的语音合成方法包括：

获取源域和目标域内的原始语音数据和原始脑电数据，并对所述原始语音数据和所述原始脑电数据进行预处理，得到各自领域内的语音数据和脑电数据；

将所述语音数据和所述脑电数据输入至预设的自编码器进行多视图变分自编码，得到各自领域内的隐含表征；

将所述源域的隐含表征映射到预设的特征空间中，并根据预设的分类器，对所述源域的隐含表征进行分类学习，得到情感信息；

根据所述情感信息，对各自领域内的所述隐含表征进行对抗学习，得到情感语音。

2.根据权利要求1所述的基于跨被试多模态的语音合成方法，其特征在于，所述将所述语音数据和所述脑电数据输入至预设的自编码器进行多视图变分自编码，得到各自领域内的隐含表征包括：

提取所述语音数据中的音素及其音素特征，并根据预设的音素类别，对所述音素的音素特征进行分析，确定各所述音素对应的音素类别；

根据所述音素及各所述音素对应的音素类别，对所述脑电数据进行分析，确定各音素对应的脑电特征；

将所述源域和所述目标域内的所述语音数据和所述脑电数据输入至预设的自编码器中，调用所述自编码器，对所述语音数据中的音素进行多视图变分自编码，并对所述脑电特征进行多视图变分自编码，得到各自领域内的隐含表征。

3.根据权利要求2所述的基于跨被试多模态的语音合成方法，其特征在于，在所述将所述源域和所述目标域内的所述语音数据和所述脑电数据输入至预设的自编码器中，调用所述自编码器，对所述语音数据中的音素进行多视图变分自编码，并对所述脑电特征进行多视图变分自编码，得到各自领域内的隐含表征之后，还包括：

计算所述源域和所述目标域内的所述隐含表征的先验分布，并对所述隐含表征进行似然估计处理，得到似然函数；

根据预设的贝叶斯公式，对所述先验分布和似然函数进行概率计算，得到后验分布；

根据预设的期望-最大值算法和预设的概率密度函数，对所述隐含表征进行参数计算，得到协方差矩阵和混合系数；

根据所述协方差矩阵和混合系数，对所述后验分布进行混合高斯处理，生成高斯混合模型。

4.根据权利要求1-3中任一项所述的基于跨被试多模态的语音合成方法，其特征在于，所述将所述源域的隐含表征映射到预设的特征空间中，并根据预设的分类器，对所述源域的隐含表征进行分类学习，得到情感信息包括：

将所述源域内的隐含表征输入至预设的特征提取器中；

根据所述特征提取器中的损失函数，计算所述隐含表征的情感特征参数，并根据所述情感特征参数，将所述隐含表征映射到预设的特征空间中；

根据预设的分类器，计算所述情感特征参数与预设的情感特征类别的线性相关值，并根据所述线性相关值确定所述情感特征参数的类别；

根据所述情感特征参数的类别，对所述源域的隐含表征进行分类学习，得到情感信息。

5.根据权利要求1-3中任一项所述的基于跨被试多模态的语音合成方法，其特征在于，所述根据所述情感信息，对各自领域内的所述隐含表征进行对抗学习，得到情感语音包括：

将各自领域内的所述隐含表征输入至预设的域判别器中，识别所述隐含表征对应的领域类别，并根据所述隐含表征对应的领域类别，提取所述源域中隐含表征的标签；

将各自领域内的所述隐含表征输入至预设的卷积神经网络模型中，并根据所述源域中隐含表征的标签，对各自领域内的所述隐含表征进行卷积计算，得到特征参数；

基于所述特征参数和所述情感信息，对各自领域内的所述隐含表征按照所述域判别器中的域对抗学习算法进行对抗学习，并将所述目标域内的隐含表征映射到特征空间中，得到情感语音。