[发明专利]基于堆叠降噪自编码机的广告博文识别方法

说明书

本发明涉及基于堆叠降噪自编码机的广告博文识别方法，属于自然语言处理技术领域。首先爬取微博数据，通过人工标注得到训练集和测试集语料。其次，对广告博文分析构建微博的文本特征向量表示、人工定义的特征向量表示，再使用堆叠降噪自编码机对两种特征向量进行特征选择，获得处理后的两种特征向量，将这两种特征向量放入最大熵中，分别得到基于文本特征向量和基于人工定义特征向量的最优广告识别模型。然后，把以上两个最优模型的特征向量进行组合得到组合特征向量，再得到基于组合特征向量的广告识别模型。最后，找出分类效果最好的模型识别广告博文。本发明解决了特征冗余的问题，提高了模型的识别率，降低了应用的难度。

技术领域

本发明涉及基于堆叠降噪自编码机的广告博文识别方法，属于自然语言处理技术领域，微博广告识别。

背景技术

广告博文由专业人士编写，内容分散，形式多种多样,很难以通过统计筛选等简单的方法将其识别、去除。广告博文不仅影响用户体验，还对基于微博的相关研究(如舆情分析、意见领袖挖掘、话题发现等)产生不利影响。目前国内外关于广告博文的去除主要有以下几种方法。通过对广告博文进行分析，确定广告博文拥有的特性，将各个特性值相加并设定阈值来过滤广告博文。使用文本数据作为特征，采用监督学习的方式构建SVM分类模型进行广告博文的识别；然而这种方式在建立模型未考虑博主社会关系方面的特征。从博主方面出发定义特征，在原有的特征基础上引入博主“主题”特征，实验证明在引入博主“主题”特征之后广告博文识别模型准确率有所提高。但上述方法在构建模型时都没有对特征进行选择，使用的特征或多或少存在着冗余的问题。从而产生了参考特征工程中现有的特征选择方法(主要为机器学习方法)构建自己的特征选择方法，并将选择后的特征用于构建微博反垃圾模型，实验表明相比于方法的选择，特征选择对模型的识别效果更为重要。

发明内容

针对上述问题，本发明提供了基于堆叠降噪自编码机的广告博文识别方法，解决特征冗余的问题，提高模型的识别率，降低应用的难度。

本发明的技术方案是：基于堆叠降噪自编码机的广告博文识别方法，所述基于堆叠降噪自编码机的广告博文识别方法的具体步骤如下：

Step1、首先爬取微博语料，通过人工标注语料得到训练集和测试集，其次对语料进行预处理；

Step2、构建微博文本特征向量表征博文，然后将特征向量放入最大熵分类中训练建模，得到基于微博文本特征向量的广告博文识别模型；

Step3、构建人工定义特征向量表征博文，然后放入最大熵分类中训练建模，得到基于人工定义特征向量的广告博文识别模型；

Step4、构建组合特征向量表征博文，然后放入最大熵分类中训练建模，得到基于组合特征向量的广告博文识别模型；

Step5、对得到的广告识别模型评估，根据实验结果选择最终的模型，依据此模型识别广告博文。

作为本发明的优选方案，所述步骤Step1的具体步骤为：

Step1.1、首先人工编写爬虫程序，爬取微博得到微博语料；

Step1.2、把已爬取的微博语料，经过过滤、去重得到不重复的微博语料，并把微博语料存放到数据库中；

本发明考虑到爬取的微博语料可能存在重复博文，这些博文增加了工作量，而没有太大意义，所以需要过滤、去重，得到不重复的微博博文语料，存放在数据库是为了能方便数据的管理和使用。

Step1.3、对数据库中的语料进行人工标注得到训练集和测试集，并对语料进行分词、去停用词相关的预处理工作。

本发明考虑到直接将文本切分为多个字符组成的字符串形式，会造成原文本中字、词、段落之间语言学信息的丢失。所以对微博语料进行预处理工作，其中包括中文分词、去停用词。方便后续工作的进行。