[发明专利]基于上下文-情感词向量的文本情感分析系统

说明书

一种基于上下文‑情感词向量的文本情感分析系统，包括：预处理单元、词向量单元、预训练单元、情感细化单元和情感分类器单元，本发明实现了通用语料预训练模型得到的上下文词向量与目标语料情感词向量的结合，可以得到具有多语义和情感信息的上下文‑情感词向量。并用Tree‑LSTM组合上下文‑情感词向量，将句法成分结构信息融入到向量表示中，最后可以得到具有语义、情感和结构特征的句子向量用于情感分类。

技术领域

本发明涉及的是一种语义处理领域的技术，具体是一种基于上下文-情感词向量和Tree-LSTM的文本情感分析系统。

背景技术

基于深度学习的文本情感分析系统通常采用预训练模型(如word2vec，glove)来得到词向量(word embedding)，再将词向量输入到下游模型(如RNN,CNN)得到句子向量，最后利用分类器得到句子的情感极性类别(如积极，中立，消极)。上述词向量预训练模型存在以下问题：一方面word2vec只能捕获到静态词向量，即每个单词在不同上下文中的表示是相同的。而现实中单词的语义是与上下文紧密相关的。另一方面word2vec词向量只能表示单词通用的语义，不能捕获到情感极性信息，例如good和bad的情感词性相反，但其词向量很相似。

近年来，ELMO、GPT、BERT等预训练模型可以得到上下文相关的词向量，并依赖于微调(fine-tune)技术来调整模型。对于情感分析任务，这样捕获到的上下文词向量仍会缺乏部分情感信息。

情感词典是一个包含单词及其情感值的词典，以情感词典作为辅助信息细化词向量可以得到具有情感信息的词向量。此方法仅曾被用于调整静态词向量，未被尝试用于上下文词向量。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于上下文-情感词向量的文本情感分析系统。

本发明是通过以下技术方案实现的：

本发明包括：预处理单元、词向量单元、预训练单元、情感细化单元和情感分类器单元，其中：预处理单元通过概率上下文无关文解析(Standford-Parser,PCFG)方法跟据输入句子的单词分析得到句子的句法结构分析树用于对句子分词，并通过字符词典对组成每个单词的字符的转换成字符对应的索引号(ID)；词向量单元采用基于字符卷积神经网络和长短时记忆网络的适用于大规模语料的语言模型(CNN-BIG-LSTM)，根据组成单词的字符的索引号，通过多个过滤器对字符嵌入卷积得到该单词的上下文无关词向量；预训练单元采用经过通用语料预训练的两层BiLSTM的语言模型，根据上下文无关词向量得到BiLSTM神经元的隐状态，即上下文词向量；情感细化单元通过情感词典调整上下文无关词向量得到情感词向量，并将预训练单元的上下文词向量和情感词向量组合得到上下文-情感词向量；情感分类器单元跟据预处理单元的句法结构分析树构建树状LSTM模型，并根据上下文-情感词向量得到句子的情感分类结果。

所述的字符词典是指一个包含文本单词中所有可能出现的字符，如26个英文字母。字符词典中每个字符对应一个唯一的索引号(ID)。假设词典的大小为|O|。

所述的情感词典中每一行存储单词及其对应的情感值(Valence)和激励值(Arousal)，其中情感值的取值范围在1-9之间，值越大表示越积极。

所述的情感词向量是指：通过情感词典的分数值调整上下文词向量，使其与情感值相近的单词的词向量更相似，而远离情感值相反的单词的词向量。

所述的树状LSTM模型兼具LSTM在处理序列数据上的优点且树状结构符合句子语法，可以捕捉到短语信息。