[发明专利]网页更新处理方法及装置

权利要求书

1.一种网页更新处理方法，其特征在于，包括：

获取待检测网页的网页地址；

获取所述网页地址中用于标识网页更新时间的标识字段；

获取预设基准字段，所述预设基准字段用于表示网页更新统计的开始时间；

判断所述标识字段对应的时间是否晚于所述预设基准字段对应的时间；以及

如果所述标识字段对应的时间早于所述预设基准字段对应的时间，则确定所述待检测网页不是新增页面，如果所述标识字段对应的时间不早于所述预设基准字段对应的时间，则确定所述待检测网页为新增页面；

其中，获取待检测网页的网页地址包括：

从网页更新量统计时间段内的网站访问日志中获取所述待检测网页访问日志；

查找所述访问日志中标识网页地址的标识符；以及

基于所述标识符获取所述网页地址。

2.根据权利要求1所述的网页更新处理方法，其特征在于，在确定所述待检测网页为新增页面之后，所述方法还包括：

记录所述标识字段；

判断是否获取完毕所述网站访问日志中的每一条网页访问日志；

如果判断出获取完毕所述网站访问日志中的每一条网页访问日志，则比较记录的所有所述标识字段对应的时间；以及

根据对应最晚时间的所述标识字段更新所述预设基准字段。

3.根据权利要求1所述的网页更新处理方法，其特征在于，所述获取所述网页地址中用于标识网页更新时间的标识字段包括：

获取预设正则表达式；以及

根据所述预设正则表达式对所述网页地址进行正则匹配，得到所述标识字段。

4.根据权利要求3所述的网页更新处理方法，其特征在于，所述获取预设正则表达式包括：

确定所述网页地址的匹配类型，所述匹配类型包括日期型、数字序列型和全局唯一标识符型；

如果所述网页地址的匹配类型为日期型，则选择用于匹配日期的正则表达式作为所述预设正则表达式；

如果所述网页地址的匹配类型为数字序列型，则选择用于匹配数字序列的正则表达式作为所述预设正则表达式；以及

如果所述网页地址的匹配类型为全局唯一标识符型，则选择用于匹配全局唯一标识符的正则表达式作为所述预设正则表达式。

5.一种网页更新处理装置，其特征在于，包括：

第一获取模块，用于获取待检测网页的网页地址；

第二获取模块，用于获取所述网页地址中用于标识网页更新时间的标识字段；

第三获取模块，用于获取预设基准字段，所述预设基准字段用于表示网页更新统计的开始时间；

第一判断模块，用于判断所述标识字段对应的时间是否不早于所述预设基准字段对应的时间；以及

确定模块，用于当所述标识字段对应的时间早于所述预设基准字段对应的时间时，则确定所述待检测网页不是新增页面，当所述标识字段对应的时间不早于所述预设基准字段对应的时间时，则确定所述待检测网页为新增页面；

其中，所述第一获取模块包括：

第一获取单元，用于从网页更新量统计时间段内的网站访问日志中获取所述待检测网页访问日志；

查找单元，用于查找所述访问日志中标识网页地址的标识符；以及

第二获取单元，用于基于所述标识符获取所述网页地址。

6.根据权利要求5所述的网页更新处理装置，其特征在于，在确定所述待检测网页为新增页面之后，所述装置还包括：

记录模块，用于记录所述标识字段；

第二判断模块，用于判断是否获取完毕所述网站访问日志中的每一条网页访问日志；

比较模块，用于当判断出获取完毕所述网站访问日志中的每一条网页访问日志时，比较记录的所有所述标识字段对应的时间；以及

更新模块，用于根据对应最晚时间的所述标识字段更新所述预设基准字段。

7.根据权利要求5所述的网页更新处理装置，其特征在于，所述第二获取模块包括：

第三获取单元，用于获取预设正则表达式；以及

匹配单元，用于根据所述预设正则表达式对所述网页地址进行正则匹配，得到所述标识字段。

8.根据权利要求7所述的网页更新处理装置，其特征在于，所述第三获取单元包括：

第一确定单元，用于确定所述网页地址的匹配类型，所述匹配类型包括日期型、数字序列型和全局唯一标识符型；以及

选择单元，用于当所述网页地址的匹配类型为日期型，则选择用于匹配日期的正则表达式作为所述预设正则表达式，当所述网页地址的匹配类型为数字序列型时，则选择用于匹配数字序列的正则表达式作为所述预设正则表达式，当所述网页地址的匹配类型为全局唯一标识符型时，则选择用于匹配全局唯一标识符的正则表达式作为所述预设正则表达式。