[发明专利]一种URL管理方法、系统

权利要求书

1.一种URL管理方法，包括待爬URL库、种子URL、错链库、需要登录URL库、跳链库、已爬URL库和相似链库，其特征在于：包括了URL管理过程：

步骤A：爬虫程序先从所述待爬URL库里拿取所述种子URL；

步骤B：爬虫程序爬取所述种子URL来访问对应网页；

若发现该网页无法访问则对所述种子URL的属性标签进行判断，判断所述种子URL的属性标签是否被访问了3次；

若是所述种子URL的属性标签被访问不足次则将所述种子URL保存回所述待爬URL库并标识所述种子URL的属性标签被访问的次数；

若是所述种子URL的属性标签被访问的次数超过3次则将所述种子URL保存到所述错链库里；

步骤C：若是能访问该网页，则判断该网页是否需要进行登录处理；

若是该网页需要进行登录处理则将所述种子URL保存到所述需要登录URL库；

若是该网页不需要进行登录处理则对该网页进行下一步判断，判断该网页的链接是否属于跳转链接，若该网页的链接属于跳转链接则将所述种子URL保存到所述跳链库；

若是该网页的链接不属于跳转链接则将所述种子URL保存到所述已爬URL库中；

步骤D：若在不属于跳转链接的网页中发现新的网页链接，则对新链接所对应的网页进行相似度的判断，判断该新链接所对应的网页是否与已爬取的网页相似，若是相似则将新链接保存到所述相似链库；若是不相似则将新链接保存到所述待爬URL库中；

包括了网页是否需要登录的判断过程：

步骤A1：爬虫程序爬取所述种子URL来访问对应的网页；

步骤A2：若该网页可以被访问，则检测该网页是否出现FORM表单和PASSWORD的HTML标签，若不是则判断该网页是不需要进行登录处理的页面；

若是则判断该网页的其他链接的前后访问页返回的是否是同一页；

若该网页的其他链接的前后访问页返回的是同一页 ，则判断该网页是需要进行登录处理的页面；

若不是则判断该网页是不需要进行登录处理的页面；

包括了网页链接是否属于跳转链接的判断过程：

步骤B1：对于不需要进行登录处理的网页，检查该网页HTTP文件头里的跳转请求状态码302是否存在，若不存在，则该网页链接不是属于跳转链接；若存在则检查该网页的前后HOST地址是否一致；

步骤B2：若该网页的前后HOST地址不一致，则判断该网页链接属于跳转链接；若该网页的前后HOST地址一致，则判断该网页链接不属于跳转链接。

2.根据权利要求1所述一种URL管理方法，其特征在于：包括相似网页的判断过程：

步骤C1：爬虫程序先从所述待爬URL库里拿取所述种子URL进行网页爬取；

步骤C2：对已爬取的每一个网页里的高频关键字都进行摘取，并标明摘取的高频关键字属于哪个网页，然后将所摘取的高频关键字保存到所述已爬URL库里；

步骤C3：将每一个爬取的网页上的高频关键字与所述已爬URL库里保存的已爬网页上的高频关键字进行比较，若是两个网页的关键字相似度高达90%则认为是这两个网页链接为相似链接。