[发明专利]基于自适应注意力机制的句子级情感预测方法及系统

说明书

本发明公开了一种基于自适应注意力机制的句子级情感预测方法及系统，包括：利用双向LSTM网络提取每个句子的前序特征信息和后序特征信息，将上下文特征信息整合到每个句子中，然后借用自注意机制，用不同的权重表示其他句子对目标句子的影响，其目的是给与情感极性关联度高的句子赋予较大的权重值，而对与情感极性不相关的句子赋予较小的权重值。本发明能有效的获得句子的特征表达，并具有较高的分类精度高，且算法的运行效率高，具有较强的实用性和有效性。

技术领域

本发明涉及人工智能文本挖掘技术领域，尤其涉及一种基于自适应注意力机制的句子级情感预测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着电子信息时代的发展，情感分类作为一门热门的研究课题，被广泛应用于电子商务系统和意见调查中的有用信息的提取，大大提高了情感分析的准确性。由于情感分类可以获得大量有价值的信息，如进行知识图谱中的知识发现和推理，以及电子商务中的服务推荐等，因此情感分类在自然语言处理领域得到了广泛的应用。然而，基于文本的情感分类却存在很多问题，比如文本较长时，信息挖掘的能力减弱造成文本信息缺失；或在分析文本时，无法结合上下文信息挖掘文本间的相互依赖关系。

基于此，一方面，研究学者致力于利用长-短期记忆网络(Long Short TermMemory,LSTM)来解决长期依赖性问题，然而，这种记忆通常以整句或几个关键词作为输入，从而忽略了文本语义连接，导致重要信息的丢失。另一方面，LSTM也受到文本序列信息传播的限制，单向的信息传播无法充分挖掘上下文之间的依赖关系。例如，“正是我所期望的。我对这台电脑没有任何抱怨”，前一个标签是肯定的，后一个也是肯定的，但事实上，当采用传统的LSTM来预测情感标签时，后者是中立的，因为传统的LSTM只是把它当作独立的句子来处理，没有考虑句子之间的相关性，则无法得到结合整个文本信息的句子特征表达。

近年来，深度学习在情感分类方面取得了很大的进展，研究者通常利用word2vec的两个模型CBOW(Continuous bag-of-words)和Skip gram或GloVe(Global Vectors forWord Representation)向量进行词嵌入表达以抽取文本情感特征，对全文、多个句子或单词进行有代表性的矢量表示。

句子级情感分类是将上下文信息整合起来，对文本中的句子进行情感预测，在处理电子商务中的观点调查、服务推荐等情感分析任务中，已经得到了广泛的应用。最近的研究利用长-短期记忆(LSTM)网络进行句子级情感分类。然而，由于序列信息传播的长期依赖性和丢失性，极大地限制了特征提取的有效性，且不能有效的提取句子之间对情感极性的影响较大的特征，从而忽略了情感语境的交互作用，导致重要信息的丢失。

发明内容

本发明目的是为了解决现有技术的不足，提出了一种基于自适应注意力机制的句子级情感预测方法及系统，其在采用双向LSTM网络进行句子的特征向量的提取，同时针对同一个评论文本中不同句子之间的影响设计了自适应注意力机制以获取不同句子对中心句子的情感影响值，从而更加准确的获取句子的语义信息；进一步针对情感分类，设计了改进SVM分类器，结合结构风险最小值与Fisher原则设计了分类器的分类决策函数，以提高句子情感极性的分类精度。

在一些实施方式中，采用如下技术方案：

一种基于自适应注意力机制的句子级情感预测方法，包括：

对带预测文本的句子组成进行分词、去停处理；

对句子的单词嵌入表达进行特征提取，得到每个句子的特征表达；

抽取同一序列文本的前向及后向的信息传递，得到融合文本序列信息的句子特征表达；