[发明专利]门户网站的死链检查方法和装置

权利要求书

1.一种门户网站的死链检查方法，其特征在于，包括：

根据门户网站的检查任务列表分配多个子线程；

启动所述多个子线程，使所述子线程从其负责的检查任务的网站入口地址开始对所述网站进行逐层广度遍历检查，并将检查结果写入内存数据库；

对所述多个子线程进行周期性轮询检查；

将处于工作完毕状态的子线程在所述内存数据库中记录的检查结果写入本地数据库；

根据所述本地数据库中记录的检查结果统计所述门户网站的死链情况；

所述子线程从其负责的检查任务的网站入口地址开始对所述网站进行逐层广度遍历检查包括：

当子线程发现当前地址在所述网站入口地址的域名或网站入口URL目录的范围之外或者所述当前地址与所述检查任务列表中的检查任务对应的地址重合，记录所述当前地址的链接状态，结束所述当前地址的逐层广度遍历检查；否则，根据当前地址对下级网页内容继续进行广度遍历操作。

2.根据权利要求1所述的方法，其特征在于，根据门户网站的检查任务列表分配多个子线程包括：

为门户网站的检查任务列表中的每个检查任务分配一个子线程的个数。

3.根据权利要求1所述的方法，其特征在于，根据门户网站的检查任务列表分配多个子线程包括：

根据平均分配原则和门户网站的检查任务列表中的检查任务总数选择子线程的个数；

将所述检查任务列表中的检查任务平均分配给每个所述子线程。

4.根据权利要求1所述的方法，其特征在于，根据门户网站的检查任务列表分配多个子线程包括：

根据门户网站的检查任务列表中的各个检查任务所属的门户网站子栏目或分站分配子线程。

5.根据权利要求1所述的方法，其特征在于，将处于工作完毕状态的子线程在所述内存数据库中记录的检查结果写入本地数据库包括：

读取处于工作完毕状态的子线程在所述内存数据库中记录的检查结果；

当所述检查结果中记录的死链的地址与本地数据库中记录的检查结果中的死链的地址相同时，将所述本地数据库中记录所述死链的统计次数加1；

其中，所述检查结果包括：死链的地址、死链的状态编码、死链所在页面、死链的类型、死链的标题。

6.一种门户网站的死链检查装置，其特征在于，包括：

子线程分配模块，用于根据门户网站的检查任务列表分配多个子线程；

子线程管理模块，用于启动所述多个子线程，使所述子线程从其负责的检查任务的网站入口地址开始对所述网站进行逐层广度遍历检查，并将检查结果写入内存数据库；

轮询检查模块，用于对所述多个子线程进行周期性轮询检查；

检查结果写入模块，用于将处于工作完毕状态的子线程在所述内存数据库中记录的检查结果写入本地数据库；

死链情况统计模块，用于根据所述本地数据库中记录的检查结果统计所述门户网站的死链情况；

所述子线程管理模块包括：

遍历处理单元，用于设置所述子线程在发现当前地址在所述网站入口地址的域名或网站入口URL目录的范围之外或者所述当前地址与所述检查任务列表中的检查任务对应的地址重合时，记录所述当前地址的链接状态，结束所述当前地址的逐层广度遍历检查；否则，根据当前地址对下级网页内容继续进行广度遍历操作。

7.根据权利要求6所述的装置，其特征在于，所述子线程分配模块包括以下单元之一：

一对一分配单元，用于为门户网站的检查任务列表中的每个检查任务分配一个子线程的个数；

平均分配单元，用于根据平均分配原则和门户网站的检查任务列表中的检查任务总数选择子线程的个数，将所述检查任务列表中的检查任务平均分配给每个所述子线程；

按栏分配单元，用于根据门户网站的检查任务列表中的各个检查任务所属的门户网站子栏目或分站分配子线程。

8.根据权利要求6所述的装置，其特征在于，所述检查结果写入模块包括：

检查结果读取单元，用于读取处于工作完毕状态的子线程在所述内存数据库中记录的检查结果；

检查结果合并单元，用于当所述检查结果中记录的死链的地址与本地数据库中记录的检查结果中的死链的地址相同时，将所述本地数据库中记录所述死链的统计次数加1；

其中，所述检查结果包括：死链的地址、死链的状态编码、死链所在页面、死链的类型、死链的标题。