[发明专利]友情链接的获取方法和装置

说明书

技术领域

本发明涉及网页技术领域，具体而言，涉及一种友情链接的获取方法和装置。

背景技术

友情链接是在一个网站上放置其他网站的超链接，使得用户可以从该网站跳转至其他网站。对于友情链接的获取通常具有较为重要意义。例如，在网络爬虫的应用中，往往需要提供用于网络爬虫爬取的链接，其中，友情链接可以作为用于爬取的链接。

目前，对于友情链接的获取是通过人工查找的方式获取的。例如，在网络爬取应用中，对于政府网站的爬取，往往需要对全国所有的政府网站逐个进行查找，再利用搜索引擎通过人工查看的方式检测查找的友情链接是否正确。该方法对于数量较小的友情链接的获取是容易实行的，但是在需要爬取大批量的网站的情况下，上述方法将耗费大量时间及人力成本。

针对相关技术中获取友情链接的效率较低的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种友情链接的获取方法和装置，以解决获取友情链接的效率较低的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种友情链接的获取方法。

根据本发明的友情链接的获取方法包括：获取第一网页内容，其中，第一网页内容为第一网页的内容；对第一网页内容进行解析，得到多个第一链接和多个第一位置，其中，多个第一链接为第一网页中包含的多个网页链接，多个第一位置分别为多个第一链接在第一网页上的位置；检测多个第一链接中包含的链接是否可组成第一链接集合，其中，第一链接集合中包含的链接为数量达到第一预设数量的、位置上连续的、层级数均为1的链接；以及如果检测出多个第一链接中包含的链接可组成第一链接集合，则确定第一链接集合中包含的链接为第一网页的友情链接。

进一步地，第一网页所在网站的域名为第一域名，第一链接集合中包含的链接对应的网站域名非第一域名。

进一步地，第一链接集合中包含的链接包括第一目标链接，在确定第一链接集合 中包含的链接为第一网页的友情链接之后，该方法还包括：获取第二网页内容，其中，第二网页内容为第二网页的内容，第二网页为第一目标链接对应的网页；对第二网页内容进行解析，得到多个第二链接和多个第二位置，其中，多个第二链接为第二网页中包含的多个网页链接，多个第二位置分别为多个第二链接在第二网页上的位置；检测多个第二链接中包含的链接是否可组成第二链接集合，其中，第二链接集合中包含的链接为数量达到第二预设数量的、位置上连续的、层级数均为1的链接；以及如果检测出多个第二链接中包含的链接可组成第二链接集合，则确定第二链接集合中包含的链接为第二网页的友情链接。

进一步地，第二网页所在网站的域名为第二域名，第二链接集合中包含的链接对应的网站域名非第二域名。

进一步地，在确定第一网页的友情链接后，该方法还包括：将第一网页所在的深度作为当前深度；针对当前深度网页的友情链接中的各个链接，爬取各个链接对应的下一级深度网页的网页内容；解析下一级深度网页的网页内容，获取下一级深度网页的友情链接；将下一级深度网页所在的深度作为当前深度，继续执行针对当前深度网页的友情链接中的各个链接、爬取各个链接对应的下一级深度网页的网页内容的步骤。

进一步地，在获取下一级深度网页的友情链接之后，在将下一级深度网页所在的深度作为当前深度之前，该方法还包括：判断下一级深度的级数是否达到预设深度级数；其中，如果判断出下一级深度的级数未达到预设深度级数，则执行将下一级深度网页所在的深度作为当前深度的步骤。

进一步地，在获取下一级深度网页的友情链接之后，在将下一级深度网页所在的深度作为当前深度之前，该方法还包括：判断下一级深度网页的友情链接中是否存在之前爬取过的网页链接；如果判断出下一级深度网页的友情链接中存在之前爬取过的网页链接，则对下一级深度网页的友情链接中存在的之前爬取过的网页链接进行过滤，得到过滤后的友情链接，并将过滤后的友情链接作为下一级深度网页的友情链接。

进一步地，第一链接集合中的链接包括第二目标链接，在确定第一链接集合中包含的链接为友情链接之前，该方法还包括：确定第三域名，其中，第三域名为第二目标链接对应的网站域名；对第三域名执行搜索处理，得到搜索结果页；对搜索结果页的内容进行解析，得到搜索结果页中排在首位的搜索结果；以及判断排在首位的搜索结果对应的链接是否为第二目标链接，确定第一链接集合中包含的链接为第一网页的友情链接包括：如果判断出排在首位的搜索结果对应的链接为第二目标链接，则确定第二目标链接为友情链接。