[发明专利]情感分析系统及方法

说明书

技术领域

本发明涉及一种情感分析系统及方法，特别涉及一种中文微博的情感分析系统及方法。

背景技术

随着互联网的发展，越来越多用户通过网络平台表达自己观点，从而产生了大量的主观性文本数据。这些数据中蕴含的大量情感信息，其具有非常大的潜在价值，在社会舆情分析、有害信息过滤、产品推荐等诸多领域有着广阔的发展前景。然而这些数据的主观性情感分类无法通过传统的基于关键词和自动索引信息获取，而人工浏览大量文本又十分低效。近年来，针对文本的情感分析是一个研究热点，相关技术已在电子产品、影视娱乐和新闻等多个领域得到应用。

微博信息是一种在社交网络上通过关注机制分享的简短实时信息，其内容具有时效性，主题包罗万象，且拥有海量数据。基于微博的情感分析技术可以在各个领域提供有用信息。但与传统的情感分析不同，微博由于其内容过于简短(如新浪微博不超过140字)，用户发言含各种噪声(如错别字，非正式用语等)等因素，对其进行情感分析相比传统的在产品评论等领域的相关工作要困难得多。近年来国际上有关英文Twitter的情感分析研究较为热门。但基于中文微博的相关工作相对较少，中文微博中经常使用反讽等方式表达情感，这也使得中文微博的情感分析更为困难。

关于情感分析的研究方法，主要有两种：基于词典的语义方法和机器学习的方法。语义方法通常通过计算候选词和通用情感词典中的基准词的语义距离，判断候选词的情感倾向。例如，Lu等将不同来源的信息结合起来构成一个统一的最优框架，这些信息包括通用情感词典中该词的极性，整个文档的情感分数，WordNet中的同义词、反义词信息，以及一些语法规则(比如两个用“和”连接的词的极性也更相近)。另一方面，机器学习的方法首先需要人工标记情感语料库，然后训练出一个模型来学习出不同类别的特征，从而预测目标文本属于哪一类别。用于训练的特征通常包括unigrams，bigrams，词性和词的位置等等。分类算法主要有监督学习和半监督学习两种。常用的监督学习的方法包括SVM(支持向量机)，Bayes(贝叶斯模型)，Maximum Entropy(最大熵)和K-nearest neighbor(K-近邻)。一些半监督学习的方法应用了bootstrap策略，比如自我训练和联合训练。

传统的情感分析处理的都是一些比较规范的文本，如产品评论或博客等，然而，社交网络的情感分析处理的是内容较短且语法不规范的文本。判断微博的主客观和情感倾向性比传统的情感分析要困难的多。目前，国外关于Twitter的研究日益增多，其中包括对每条Tweet的情感分析，对于一个话题的情感分析，以及用户级别的情感分析。在2011年，Jiang等提出了一种与情感对象有关，上下文相关的方法来判断Tweet的情感。虽然这种方法提高了关于Twitter的情感分类的性能，但其主客观分类器的准确率并不是很高(最好的情况下为68.2％)。

发明内容

为克服上述现有技术存在的不足，本发明目的在于提供一种情感分析系统及方法，其使用微博中与相关话题的微博作为训练数据，以Support VectorMachine和Bayes分类器为核心，提高中文微博的观点句判断和情感倾向性分类的性能。

为达上述及其它目的，本发明提出一种情感分析系统，至少包括：

语料库建立模组，用于建立观点句识别及情感倾向分析所需的训练集；

数据预处理模组，用于对训练集中的句子进行预处理；

观点句识别模组，采用支持向量机分类器与贝叶斯分类器分别对预处理后的句子进行观点句识别，并对两分类器的结果进行集成处理，得到最终的分类结果；以及

情感倾向分析模组，基于支持向量机分类器及贝叶斯分类器分别直接将预处理后的句子分为正面、负面和无观点三类，并通过一集成公式将该支持向量机分类器和贝叶斯分类器的分类结果集成，得到当前句子的分类结果。

进一步地，该训练集包括中国计算机学会所提供的来自腾讯微博的样例数据和从新浪微博上抓取的数据。

进一步地，该训练集为人工标注，由两个人分别独立标记，结果不同的再由第三个人进行裁决。

进一步地，该预处理包括去掉句子中的标签，仅保留句子本身的内容及对句子中的特殊符号进行正规化处理。

进一步地，对句子中的特殊符号的处理包括将所有全角符号转化为半角、将英文标点替换为中文标点、将连续的数字替换为<NUM>、将所有不规范的省略号替换为<ETC>以及将短链接替换为<SHORT_URL>。