[发明专利]一种基于句子分割算法和改进主题模型的蒙古语情感方面抽取方法

权利要求书

1.一种基于句子分割算法和改进主题模型的蒙古语情感方面抽取方法，其特征在于，包括如下步骤：

步骤1，爬取互联网上的蒙古语商品评论消息；

步骤2，对步骤1收集的数据进行校正，清洗，去除停用词，并采用蒙古语形态分析工具对错别字进行修正，以及对词语进行词性标注，得到若干新的蒙古语文本文档s；

步骤3，对所述新的蒙古语文档s进行情感极性检测，去除不含情感色彩的客观句子，输出只保留蒙古语主观句子的文档s’；

步骤4：读取文档s’中的句子，选取所有词语元素，将所述词语元素依次与蒙古语频用词列表比较，使用句子分割算法分割为若干不含杂质词语的带有单个情感方面的句子段，各句子段组成文档s”；

步骤5：使用短文本主题分析模型(SH-LDA)训练文档s”以对句子段进行分组，将具有相似情感方面的句子段分为一个主题，生成具有T个主题的文档S，每个主题中的句子段即为一组；

步骤6：概括每个主题中的句子段的情感方面，完成蒙古语情感方面抽取。

2.根据权利要求1所述基于句子分割算法和改进主题模型的蒙古语情感方面抽取方法，其特征在于，所述步骤1，通过评论的日期、评论的内容和不同的商品页面，使用分布式多线程爬虫技术爬取商品评论消息，实现数据收集，并辅以人工采集的手段对爬取的数据进行补充，最终构建得到商品评论数据集。

3.根据权利要求1所述基于句子分割算法和改进主题模型的蒙古语情感方面抽取方法，其特征在于，所述步骤2，使用修复文件对数据进行校正，修复内容包括日期、格式以及乱码；通过对照停止词表S_list，去除停用词。

4.根据权利要求3所述基于句子分割算法和改进主题模型的蒙古语情感方面抽取方法，其特征在于，去除停用词过程中，读取待分析的蒙古语句子w，将其按顺序划分为n个词语元素e₁,e₂,e₃...e_n-1,e_n，保留词语的临时指针为将e₁,e₂,e₃...e_n-1,e_n按照顺序依次与S_list做比较，将与停用词表S_list中单词不同的词语元素e_t′送入指针，公式如下：

将指针中的所有内容传入新的蒙古语文档s，指针内容传出后，其自身清空，蒙古语文档s中是所有去除停用词后的句子的集合，公式如下：