[发明专利]一种基于多监督多特征融合的语音测谎方法

说明书

本发明公布了一种基于多监督多特征融合的语音测谎方法，本发明包括以下步骤：首先，构建了基于CNN网络、LSTM网络、AE网络网络的混合神经网络模型，实现不同特征的互补，从特征层面确保模型的性能；其次，利用AE获取无监督重构误差，利用模型预测生成伪标签，并获取伪标签预测误差，利用少量有标签数据获取有监督识别误差，综合利用3种不同误差构建联合误差函数，从而获得最优训练模型；最后，输出数据分类识别。本发明所提出的一种基于多监督多特征融合的语音测谎方法，能够有效降低模型对有标签数据的依赖，在相同有标签数据的情况下，识别性能显著优于现有诸多算法，非常具有实用意义。

技术领域

本发明属于语音信号处理技术领域，具体涉及到一种基于多监督多特征融合的语音测谎方法。

背景技术

说谎在人际交往中较为常见，是有意图传递错误信息的一个重要方式。从古至今，谎言检测都一个非常重要的一个研究方向，且该研究对刑事侦查、心理学研究等领域都有着重要的作用。传统的谎言检测技术主要是根据生理参数的变化进行判别，这种方法数据采集较困难，同时会引起受试者的抵触心理，从而影响检测结果。语音是人与人沟通交流最重要的途径之一，近些年，有学者提出了基于语音的测谎技术，该方法数据采集简单，隐蔽性较好，可以有效破解现有谎言检测技术的诸多问题，因此，该研究受到了广泛关注。

当前，针对语音谎言检测的研究主要集中在两个部分：谎言语料库的构建和语音特征的提取。对于数据库的构建，主要可以分为三类：游戏类型的谎言语料库、访谈类型的谎言语料库、模拟犯罪类型的谎言语料库。游戏类型的谎言语料库贴近生活，但受试者压力程度较低，谎言信息不显著；访谈类型的谎言语料库主要涉及面试、采访等场景，受试者相对研究，压力度略高于游戏类型数据库；模拟犯罪类型语料库主要涉及刑侦、间谍，问询者更加专业，包含诸多询问技巧与策略，受试者压力显著高于上述语料库，谎言特征相对显著，但数据不易获取。尽管学者们对谎言数据库的有了一定的研究，但与相关研究领域相比，公开的谎言数据库极少且数据量小，这给基于语音谎言检测的研究带来了巨大的难题。在特征提取方面，主要围绕韵律特征、谱相关特征、语音质量特征等进行研究。尽管上述研究取得了诸多巨大进步，但仍未有一种特征能够有效的表征语音中的谎言信息，因此，如何获取到更丰富的谎言特征仍需进一步努力。

基于上述分析，本文开展针对谎言特征提取及半监督识别模型的研究，旨在降低模型对有标签谎言语料库的依赖，同时提升模型识别性能。本研究首先搭建基于CNN、LSTM、AE的混合神经网络模型，利用CNN从语音的Mel谱中提取到与谎言相关的谱图时频信息；利用LSTM从语音谱图中逐帧提取语音谎言特征，补充卷积神经网络忽略的帧级情感特征；自编码网络实现人工设计声学谎言特征的迁移表征，可以为其他网络补充人工设计特征所包含的谎言信息；不同网络提取到的特征具有互补性，通过使用不同类型的特征，达到充分利用语音中包含的谎言信息的目的；其次，将不同网络提取到的深度特征融合，并利用AE获取无监督重构误差，利用模型预测生成伪标签，并获取伪标签预测误差，利用少量有标签数据获取有监督识别误差，根据三部分误差对模型进行反复训练以得到最佳模型。

发明内容

基于伪标签的半监督方法在图像分类中有良好的性能，但是语音测谎与这些领域的分类任务不同，根据语音测谎的特点，将基础网络进行改进，使其可以实现对无标记输入数据的高置信度伪标签的预测，并实现分类。于是，一种基于多监督多特征融合的语音测谎方法，具体步骤如下：

(1)语音信号预处理：在语音处理预处理阶段先给语音添加上真话与谎言的标签，然后再对语音进行分帧加窗等处理；

(2)语音特征提取：对(1)中经分帧加窗处理后的数据进行语音特征提取，提取预处理后语音的mels谱数据，并按帧输入LSTM网络中，提取帧级特征，其次将mels谱数据构建成3D图片，输入Alexnet网络，提取全局特征；再次采用人工设计特征提取人工设计特征，输入AE网络中；