[发明专利]多种语言文本数据分类处理方法

说明书

技术领域

本发明涉及数据处理领域，涉及海量文本数据倾向性分析，尤其是面向多语言（不熟悉语言）的自动情感分类方法。

背景技术

随着互联网的快速发展和全球化进程的加快，因特网所提供的信息资源呈现出多语言化的特点。全球标准互联网用户调查和分析权威机构Nielsen Net Ratings的调查数据显示，从2000年到2008年的9年间，全世界各种语言的网络使用增长率达到305.5%。因特网资源的多语言性及用户对母语和非母语熟悉程度的差异性，不可避免地给用户利用网络信息带来了语言障碍。

网络正悄然无息地影响着人们的生活习惯，随着论坛、博客、评论、微博等网络交流平台不断涌现，人们越来越习惯于在网上发表主观性的言论，这些言论用于表达自己对于日常事件、产品、政策等的观点和看法，使得网上存在大量带有情感倾向性的文本。情感分析是一种重要的信息组织方式，研究的是自动挖掘和分析文本中的立场、观点、看法、情绪、好恶等主观信息。

多语言情感分析具有极其重要的研究意义：

从理论上看，情感倾向性分析是自然语言处理、人工智能、甚至认知科学领域所面临的重要研究课题之一。情感倾向性研究所取得的每一个进步，都有助于加深我们对人类的智能、语言、思维等问题的了解。

网络因其开放性和虚拟性，已经成为民意表达的重要通道和空间。利用多语言的情感倾向性分析技术，可以更加及时地了解世界各地网络社会民意。

同时，多数产品生产、销售厂商希望通过跟踪用户对产品的回馈意见来获得改进产品质量的针对性意见；潜在的消费者也希望通过网上真实的评价信息来调整个人的购买意向。利用多语言情感倾向性分析技术对多语言的产品评论观点进行组织和分类，有利于人们更全面地了解产品，培育潜在消费群体。

综上所述，多语言情感倾向性分析研究不但具有深远的理论价值，而且有着广阔的应用前景，可以创造较大的社会和经济效益。

近年来，特定语言（比如英文或中文）的情感倾向性研究取得了很大的进步，然而多语言（非特定语言或不熟悉语言）的情感倾向性研究却没有太大突破。

通常情况下，多语言的情感分类主要通过跨语言的思路来解决，大致归纳为以下三种：

采用KCCA(Kernel Canonical Correlation Analysis)、LSI(Latent Semantic Indexing)等方法，不依赖于翻译资源，以平行语料为基础完成源和目标语言的空间转换。LSI方法是跨语言信息检索领域常用的仅依据平行语料就可以进行源和目标语言空间转换的方法。但是，双语平行语料依然是稀缺资源，大规模的双语平行语料获取不易，而且每切换一种语言就需要一批双语平行语料，代价太高。

借助统计机器翻译系统来进行跨语言情感分类器迁移。一方面，可以将有标注的源语言数据集翻译成目标语言，然后在翻译后的训练语料上训练分类器对测试集进行判别；另一方面，可以将目标语言测试集翻译成源语言，然后直接应用在源语言上训练的分类器。然而，基于机器翻译的方法会损失跨语言情感分析的精度。一方面，机器翻译系统生成唯一解，所以翻译未必正确；另一方面，机器翻译系统依赖于训练集，当目标语言的领域与训练集相差较大时性能不佳。

借助双语词典来进行跨语言情感分类器迁移。在有监督学习中，可以先在源语言上学习情感分类器，然后借助双语词典将特征空间翻译成目标语言；在无监督学习中，可以将源语言的情感词典通过双语词典翻译成目标语言。然而，大部分基于双语词典的工作在选取翻译词的时候没有考虑情感词的上下文依赖关系。此外，情感词的极性（支持或反对）具有领域依赖性，面对不同实体会表现出不同极性，所以将通用的情感词典用于特定领域往往性能不佳。

综上所述，多语言的情感倾向性分析主要存在以下两个问题：

（1）多语言情感分析过于依赖外部资源

大部分多语言情感分析技术是依赖于机器翻译或者双语词典的。如果没有机器翻译系统或编纂好的双语词典，多语言情感分析的工作将很难进行。

（2）多语言情感分析性能差强人意

首先，基于机器翻译的方法会损失跨语言情感分析的精度。其次，大部分基于双语词典的工作在选取翻译词的时候没有考虑情感词的上下文依赖关系。最后，不同语言的情感表达差异很大，从原始空间导出的模型被转换到目标语言空间时存在信息损失。

发明内容