[发明专利]一种基于对抗学习和支撑向量机融合的蒙汉情感分析方法

说明书

一种基于对抗学习和支撑向量机融合的蒙汉情感分析方法，通过生成器结合真实数据生成假数据，真实数据是真实的蒙语句子及其对应情感标签，假数据是假的蒙语句子及其对应情感标签；对假数据进行数据增强；以真实数据和数据增强后的假数据为输入数据，输入判别器，判别器将真实的蒙语句子和假的蒙语句子映射成为向量；对向量进行句子嵌入、词嵌入和位置嵌入；之后输入到残差神经网络中提取特征；将特征提取之后的向量映射为低维度向量；使用支撑向量机对全连接层输出的向量进行分类，并与真实的蒙语句子的真实分类结果对比，通过计算损失函数进行反向传播，更新梯度以及生成器和判别器的参数，最后以判别器判别带有情感的蒙古语句子，进行情感分类。

技术领域

本发明属于人工智能技术领域，涉及自然语言处理中的情感分类，特别涉及一种基于对抗学习和支撑向量机融合的蒙汉情感分析方法。

背景技术

情感分类是自然语言处理的一个领域，对于给定的句子，识别句子所含有的情感为积极、消极或疑惑，是情感分类主要解决的问题，对于机器理解用户输入的句子具有重要的意义，在最开始的时候使用机器学习的方法对情感进行分类，主要包括的方法有使用基于概率统计的方法、基于语言学和基于语义学的方法，在早期的方法中普遍存在的问题是只能解决特定的集中句型和句式，并且都是通过硬编码去实现的，使用人工的方法对句子的特征进行提取，最后使用一个机器学习分类器进行分类。

随着深度学习的发展和神经网络的普及，自然语言处理领域也逐渐将关注点转到了神经网络上。随着多层感知机的普及，已能够使用多层感知机对数据进行特征抽取和特征转化，不用人为对数据进行提取和人为进行数据预处理，所有信息都变成了可学习的参数，研究人员需要做的事情是改造神经网络和改造训练方法，但是这些神经网络在刚开始出现的时候只适用于做一些简单的任务，并且数据的提取没有针对性。针对这一问题，在自然语言处理领域研究出了循环神经网络，循环神经网络可以很好地处理时序数据。同时一个句子是时序数据，通过循环层堆叠的方式可以很好地理解一句话的意思。并且在一句话中，前面的词必定和后面的词有一定联系，但是随着循环神经网络的发展，当循环神经网络变得更深的时候，最初被提取的信息会消失，并且随着循环的层数加深，伴随的梯度也会消失，导致循环神经网络较难收敛。针对这几个问题，LSTM和GRU可解决梯度消失和梯度爆炸问题，同时信息提取能力更加完善，通过加入长短期记忆的机制，不仅能够对临近信息进行提取，还能够保留最初的信息，并且不会因循环层数的堆叠而使得信息量减少从而导致较难收敛，在实际的训练中取得了很好的效果。

随着自然语言处理(NLP)的发展，自然语言处理领域任务变得越来越复杂，句子和词语也变得越来越复杂，关注的不只是一个神经网络的训练，将输入数据如何有效表征输入神经网络也是一个巨大的挑战，随着句子量和词汇量的加大，仅仅使用独热编码的方法表征输入向量往往是不切实际的，如何使用更加有效的向量表征也是一个需要解决的问题，同时循环神经网络每一时刻的输出都依赖于前一个时刻的输出，在一个句子中，更加重要的是上下文信息，显然最初的循环神经网络并没有解决这个问题。在情感分类任务中，对句子整体信息的表征也非常重要，但是在之前的研究中并没有使用特定的方法来表征整个句子的信息。

对抗学习通过博弈的方法训练数据，设定生成模型和判别模型，生成模型通过真实数据生成假数据，判别模型用来辨别真实数据和生成的假数据的情感分类，在对抗学习模型GAN的定义中，生成模型和判别模型可以是任何能够拟合数据的函数，现在一般使用简单的神经网络作为生成模型和判别模型，并且在计算损失的时候使用：

显然当数据量比较复杂的时候这些简单的模型所提取的信息比较单一，无法完全表征数据的特点。同时当训练数量达到一定量级后，生成模型会退化，导致每个epoch生成的向量都会一样，这样导致的结果是判别模型无法进行SGD(随机梯度下降)，从而导致无法收敛。并且在表征词的时候使用One-Hot编码对每一个词进行表征，随着句子词数的增加，输入向量变得更长的同时，向量中有很多无用的0，这些0是学习不到任何特征的，并且这种表征方式无法表征句子中每个词和每个词的关系，同时无法表征整个句子的上下文之间的关系。

发明内容