[发明专利]一种基于隐藏服务关联的Tor核心站点发现方法

说明书

本发明公开一种基于隐藏服务关联的Tor核心站点发现方法，包括步骤(1)隐藏服务关联算法：针对内容相近但域名不同的Web站点，设计基于页面结构和内容的隐藏服务关联算法；(2)计算隐藏服务存活率；(3)隐藏服务访问量测量；(4)Tor核心站点发现：通过(2)和(3)得到的隐藏服务存活率和访问量对(1)中聚类的每个组中的隐藏服务进行分析，识别其中的核心站点。本发明可实现Tor暗网中具有较高分析价值的核心站点发现。

技术领域

本发明属于匿名网络(Anonymity Network)技术领域，具体涉及一种基于隐藏服务关联的Tor核心站点发现方法。

背景技术

由于Tor具有匿名性强的特点，许多犯罪分子在其中进行非法交易，从事违法活动，如枪支贩卖、毒品贩卖、隐私信息交易等，此外，一些组织也利用它来实施大规模的网络攻击。为了对暗网内容进行有效监管，需要对Tor暗网内容进行高效爬虫。然而，暗网中的不同隐藏服务重要程度不同，有效信息量也有极大差异，若使用全网爬虫会使得很多有价值的信息无法获取，导致其提供的数据质量较低。此外，暗网中大量域名对应的站点内容几乎一样，即不同域名的网页内容基本相同，这种现象将会对导致大量爬虫分析、存储和计算资源耗费在重复站点内容上，严重制约了对暗网空间的探测和掌握，因此针对Tor暗网的核心站点发现是十分必要的。

发明内容

发明目的：针对Tor暗网中存在着大量非法内容亟待加强监管，但目前暗网采集数据质量较低的问题，本发明提出一种基于隐藏服务关联的Tor核心站点发现方法，该方法首先对不同域名但内容相同或相似的隐藏服务进行关联，进而通过长期探测获得隐藏服务存活率和访问量来进行核心站点识别。

本发明采用如下技术方案：

一种基于隐藏服务关联的Tor核心站点发现方法，该方法包括如下步骤：

(1)隐藏服务关联算法：针对内容相近但域名不同的Web站点，设计基于页面结构和内容的隐藏服务关联算法；

(2)计算隐藏服务存活率：通过隐藏服务的描述符是否存在来间接判定隐藏服务是否在线，并将其作为核心站点判断的特征之一；

(3)隐藏服务访问量测量：通过部署隐藏服务目录服务器HSDir收集隐藏服务盲公钥被请求的情况，进而分析比对计算隐藏服务的访问量；

(4)Tor核心站点发现：通过(2)和(3)得到的隐藏服务存活率和访问量对(1)中聚类的每个组中的隐藏服务进行分析，识别其中的核心站点。

进一步地，所述步骤(1)具体包括：

(11)利用Response Header中的重定向链接进行聚类：由于一些域名访问以后会返回301状态码并自动重定向到其他页面，Response Header头中的Location字段会显示重定向后的页面域名，因此将域名和重定向域名聚类成一组；

(12)将拥有有意义标题的相同站点聚成一类：定义暗网中的站点默认页面的标题是无意义的，包括“Index of/”、“Apache2 Debian Default Page”、“401AuthorizationRequired”、Apache、Nginx，将该无意义标题以及没有标题信息的站点各自划为一组，而将拥有有意义标题信息且标题文字相同的站点划分为一组；

(13)结合HTMLDOM树、CSS样式、页面关键词综合进行聚类：将在有意义标题的组中抽取一个页面，计算每个页面的DOM树结构、class属性值、id属性值以及页面中的前20个关键词信息，并用相似度算法比较每个页面的DOM树结构相似度、class属性值和id属性值相似度以及页面关键词相似度。

进一步地，所述步骤(2)具体包括：

(21)从数据库中读取待计算隐藏服务存活率的域名；