[发明专利]一种面向社交网络文本基于识别新词旧义的情感分类方法

说明书

本发明提供一种面向社交网络文本基于识别新词旧义的情感分类方法，涉及情感分析技术领域，本发明使用词语的相邻词语计算条件熵值，以识别语境变化，提出了基于条件熵识别语境的DCC‑CE算法，通过DCC‑CE算法识别语境变化并结合词语共现度，来解决旧词新义识别以及新词发现问题，由此提出基于共现度识别旧词新义相关新词的DNEW‑DCC算法，将DCC‑CE和DNEW‑DCC算法作为旧词新义识别的步骤添加到情感分类中，以改善旧词新义对情感分类准确度的影响，并由此提出通过旧词新义改善情感分类的NMOW‑AC算法。

技术领域

本发明涉及情感分析技术领域，具体涉及一种面向社交网络文本基于识别新词旧义的情感分类方法。

背景技术

随着社交网络平台的发展，微博已经成为大多数人生活的一部分。新浪微博发布了2018年第三季度财报，财报显示“微博月活用户已达4.46亿，同比净增长7000万”。移动大数据服务商Questmobile发布的《2017年中国移动互联网年度报告》显示“微博名列中国移动互联网Top10独立APP，月活跃用户达3.81亿，占据社交媒体龙头地位”。通过数据可以看到微博已经成为人们日常生活中不可或缺的一部分。微博带来了一种更加自由、更加快捷的表达方式，这个特点使得微博独树一帜，成为国内最为热门的互联网应用之一。随着微博的流行，越来越多的政府部门、公司机构也加入到微博的用户之中，在微博创建自己的官方账号，发布信息、与其他用户互动。越来越多的人将微博作为自己互动沟通，获取信息的主要方式。虽然情感分析属于计算机领域，但是其实际意义与应用意义往往涉及更多的领域，情感分析的研究一方面推进了自然语言处理的推进，另一方面情感分析提取的大众观点信息对于商业界乃至整个社会也是非常重要的。

情感分析亦称观点挖掘，旨在通过文本分析进行情感计算从而提取用户的情感倾向(极性)及所持观点。情感极性包括粗粒度和细粒度两种，前者将情感分为正、中、负三类，而后者则给出“喜怒哀乐惊恶恐”等复杂情绪倾向。国内外关于文本情感分析的研究主要分为两种：基于机器学习的方法和基于情感知识的方法。前者是通过在句子中提取情感特征进行情感类型的判断，而后者主要是通过使用语义规则或建立情感词库、观点型词典等方式对句子进行分析，将带有情感倾向部分进行加权计算，通过计算后的结果获取文本的情感倾向。在基于机器学习的情感分类相关研究中，用的比较多的方法有：支持向量机(Support Vector Machine，SVM)、K最近(K-Nearest Neighbor,KNN)、最大熵(MaximumEntropy Model，ME)等方法，随着神经网络的流行，越来越多的学者开始尝试使用神经网络进行文本情感分类。其中基于知识的方法既有使用情感词典，如WordNet-affect或者General Inquirer与基线分类算法相结合进行分析，也有基于语言规则提出的算法。当然也有混合方法，混合的方法是指在使用机器学习方法的同时考虑词语语义关系与语义规则，以此调整特征与特征之间的关系，提高情感分类的准确性。

目前国内外对特征提取的研究非常多，其中一种方式是在词语、表情等特征转化为向量的过程进行优化，以得到更加准确的特征值或者特征向量。另一种优化特征的方式是从挖掘语法信息方面入手。但是社交网络上涌现了大量的旧词新义的词语用法，旧词新义是指那些旧的形式和新的含义相结合的词语，这些词语仅仅使用统计规则是无法识别的，所以要从语境的变化来识别。普通的特征提取没有考虑到旧词新义，本发明在特征优化方面所做的工作是通过识别旧词新义及相关新词来解决词语在训练集和测试集中的语义模糊问题，以此来优化特征。