[发明专利]一种基于句子分割算法和改进主题模型的蒙古语情感方面抽取方法

说明书

一种基于句子分割算法和改进主题模型的蒙古语情感方面抽取方法，爬取互联网上的蒙古语商品评论消息，校正，清洗，去除停用词，修正错别字，标注词语词性，得到新的蒙古语文本文档s；对s进行情感极性检测，输出只保留蒙古语主观句子的文档s’；读取s’中的句子，选取所有词语元素，依次与蒙古语频用词列表比较，使用句子分割算法分割为若干不含杂质词语的带有单个情感方面的句子段，各句子段组成文档s”；使用短文本主题分析模型训练s”以对句子段进行分组，将具有相似情感方面的句子段分为一个主题，生成具有T个主题的文档S；概括每个主题中的句子段的情感方面，完成蒙古语情感方面抽取，本发明可提高主题情感方面抽取的准确度。

技术领域

本发明属于人工智能技术领域，涉及利用人工智能对文本的情感分析，特 别涉及一种基于句子分割算法和改进主题模型的蒙古语情感方面抽取方法。

背景技术

随着社交网络、博客、论坛和电子商务网站的广泛使用，用户生成的蒙古 语文本数据量呈指数级增长。产品评论或其他文本数据中的用户意见对产品和 服务的制造商、零售商和供应商至关重要。因此，情感分析和观点挖掘成为重 要的研究领域。在用户评论挖掘中，基于主题建模的方法和潜在狄利克雷分配 (Latent Dirichlet Allocation,LDA)是面向方面情感分析中抽取产品面向方面的重 要方法。然而，由于数据稀疏性问题和缺乏共现模式，以及LDA智能应用于 单词，不能直接应用于用户评论和其他短文本。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于句子分割 算法和改进主题模型的蒙古语情感方面抽取方法，提出了适应于短文本(句子 段)的SH-LDA模型，以期提高主题情感方面抽取的准确度。

为了实现上述目的，本发明采用的技术方案是：

一种基于句子分割算法和改进主题模型的蒙古语情感方面抽取方法，包括 如下步骤：

步骤1，爬取互联网上的蒙古语商品评论消息；

步骤2，对步骤1收集的数据进行校正，清洗，去除停用词，并采用蒙古 语形态分析工具对错别字进行修正，以及对词语进行词性标注，得到若干新的 蒙古语文本文档s；

步骤3，对所述新的蒙古语文档s进行情感极性检测，去除不含情感色彩 的客观句子，输出只保留蒙古语主观句子的文档s’；

步骤4：读取文档s’中的句子，选取所有词语元素，将所述词语元素依次 与蒙古语频用词列表比较，使用句子分割算法分割为若干不含杂质词语的带有 单个情感方面的句子段，各句子段组成文档s”；

步骤5：使用短文本主题分析模型(SH-LDA)训练文档s”以对句子段进 行分组，将具有相似情感方面的句子段分为一个主题，生成具有T个主题的文 档S，每个主题中的句子段即为一组；

步骤6：概括每个主题中的句子段的情感方面，完成蒙古语情感方面抽取。

在一个实施例中，所述步骤1，通过评论的日期、评论的内容和不同的商 品页面，使用分布式多线程爬虫技术爬取商品评论消息，实现数据收集，并辅 以人工采集的手段对爬取的数据进行补充，最终构建得到商品评论数据集。

在一个实施例中，所述步骤2，使用修复文件对数据进行校正，修复内容 包括日期、格式以及乱码；通过对照停止词表S_list，去除停用词。