[发明专利]基于语义相似度的垃圾评论过滤方法

权利要求书

1. 基于语义相似度的垃圾评论过滤方法，通过对评论特征词与主题特征词的语义相似度计算扩充评论与主题的文本相似度，来提高有效评论的识别率，其特征在于包括如下步骤：

（1）网络爬虫抓取视频的文字信息，所述的文字信息包括标题、标签和评论；

（2）对文字信息进行中文分词并过滤停用词；

（3）使用规则简单过滤垃圾评论；

（4）以HowNet词语相似度来扩展文本相似度并自适应更新主题特征向量来识别正常评论。

2.根据权利要求1所述的基于语义相似度的垃圾评论过滤方法，其特征是：网络爬虫抓取视频的文字信息，包括如下步骤：

A）在数据库中建立一张表VideoInf，包含InfId、Url、Title、Tag这4个字段，其中InfId为主键；建立另一张表VideoCom，包含ComId，InfId，Comment这3个字段，ComId为主键，InfId为外键；

B）分析视频网站新闻频道首页的源代码，利用正则表达式获取URL保存到队列中；

C）队列中获取一个URL，如果是视频播放地址，则将源码中对应的标题、标签存入VIdeoInf表中，将评论内容及相应视频的InfId存入VideoCom表中；如果是普通页面，重复B）。

3.根据权利要求1所述的基于语义相似度的垃圾评论过滤方法，其特征是：对文字信息进行中文分词并过滤停用词，包括如下步骤：

D）用户从VIdeoInf表中获取一个视频，将其标题、标签、评论使用中科院ICTCLAS进行分词；

E）对分完词的序列过滤停用词。

4.根据权利要求1所述的基于语义相似度的垃圾评论过滤方法，其特征是：使用规则简单过滤垃圾评论，包括如下步骤：

F）首先对于评论中的链接、电话、QQ、邮箱信息分别用WEBSITE、TELEPHONE、QQNUM、EMAIL专有词替换；

G）分析评论语料，定义一个垃圾关键词库；计算评论中中英文字符与非规则字符的比率                                               ；

H）若评论中多个词在垃圾关键词库中或者比率大于设定阈值，则认为是垃圾评论。

5.根据权利要求1所述的基于语义相似度的垃圾评论过滤方法，其特征是：以HowNet词语相似度来扩展文本相似度并自适应更新主题特征向量来识别正常评论，包括如下步骤：

I）根据视频的标题、标签建立视频的主题特征向量；

J）根据评论建立该条评论的特征向量；

K）根据HowNet词语相似度计算主题特征向量与评论特征向量的文本相似度，如果大于某个阈值则为正常评论，加入正常评论集合N中；

L）对集合N的词语进行统计词频，分别对每个词进行分析并更新主题特征词权重，可以分为四类，分别是：主题特征词、主题特征词的语义相关词、高频词、无关词；

M）重复执行步骤K）、L），直到k轮识别结束。