[发明专利]通过网页多视图数据关联组合识别垃圾网页的方法

说明书

技术领域

本发明涉及一种通过网页多视图数据关联组合识别垃圾网页的方法，属于internet信息检索领域。

背景技术

网络已经成为最主要的信息来源，人们通过信息检索(IR)查找相关信息。用户在使用搜索引擎检索信息时，往往只选取排名靠前的几条结果，某些网站为了达到商业目的利用一些专门为其他网站提供提高排名服务的盈利组织(如SEO)[Luca Becchetti,Carlos Castillo,Debora Donato,et al.Web spam detection:link-based and content-based techniques[R].Yahoo!Research Barcelona,2008.]误导和欺骗用户，严重影响了用户获取有用信息。由此可见，对垃圾网页进行有效检测是一个亟待解决的问题。

目前垃圾网页主要分为三种类型：基于内容的垃圾网页，基于链接的垃圾网页和网页隐藏[Carlos Castillo,Debora Donato,AristidesGionis,et al.Know your neighbors:web spam detection using the web topology [C]//Proceedings of the 30th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval.New York,USA:ACM,2007:423-430]。基于内容的垃圾网页通过恶意制作网页内容(如插入与流行的查询条件相关的关键字)提高搜索排名，通常使用基于语言模型[István Bíró,Dávid Siklósi,Jácint Szabó,András A.Benczúr.Linked latent dirichlet allocation in web spam filtering[C]//Proceedings of the 5th International Workshop on Adversarial Information Retrieval on the Web.New York,USA:ACM,2009:37-40,Lourdes Araujo,Juan Martinez-romo.Web spam detection:new classification features based on qualified link analysis and language models[J].IEEE Transactions on Information Forensics and Security,2010,5(3):581-590]的方法检测该类垃圾网页。基于链接的垃圾网页通过创建一个联系紧密的链接结构影响排名算法，常用基于信任传播的方法进行检测[Jacob Abernethy,Olivier Chapelle,Carlos Castillo.Graph regularization methods for web spam detection[J].Machine Learning,2010,81(2):207-225]。网页隐藏通过向搜索引擎和用户发送内容不同的网页来实现，可以利用比较索引版本和用户实际看到的网页的方法进行检测。