[发明专利]网页更新处理方法及装置

说明书

技术领域

本发明涉及互联网领域，具体而言，涉及一种网页更新处理方法及装置。

背景技术

网页更新量指的是在一定时间内网站新发布的页面数量，是评价网站绩效的一项重要指标。在通过网站访问日志分析网页更新量时，可能会遇到在网站开始监测之前就发布的网页，由于该网页在该监测期间被用户访问，错误的将该网页认定为新增的网页；或者是在该监测期间新发布的网页，由于在该监测期间该新增的网页从未被访问过，造成该新增网页的漏统计，以上两种情况都影响网页更新量分析的准确性。目前解决上述问题的方案有两种，第一种方案是在网站开始监测之后，人工将站内所有网页都浏览一遍，但该方案耗时耗力，且容易遗漏，仅适用于网页很少的情况；第二种方案是在网站监测之后，通过程序实现自动遍历整个网页，达到清除历史数据对于网页更新量的影响的目的，但是该方案必须由专业的技术人员才能实现，且工作量较大，同时不同网站之间的通用性不强。

针对相关技术中将网页更新量统计开始时间之前发布的网页错误判断为新增网页而造成网页更新量统计结果不准确的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种网页更新处理方法及装置，以解决将网页更新量统计开始时间之前发布的网页错误判断为新增网页而造成网页更新量统计结果不准确的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种网页更新处理方法。

根据本发明的网页更新处理方法包括：获取待检测网页的网页地址；获取网页地址中用于标识网页更新时间的标识字段；获取预设基准字段，预设基准字段用于表示网页更新统计的开始时间；判断标识字段对应的时间是否晚于预设基准字段对应的时间；以及如果标识字段对应的时间早于预设基准字段对应的时间，则确定待检测网页不是新增页面，如果标识字段对应的时间不早于预设基准字段对应的时间，则确定待检测网页为新增页面。

进一步地，获取待检测网页的网页地址包括：从网站访问日志中获取待检测网页访问日志；查找访问日志中标识网页地址的标识符；以及基于标识符获取网页地址。

进一步地，获取网页地址中用于标识网页更新时间的标识字段包括：获取预设正则表达式；以及根据预设正则表达式对网页地址进行正则匹配，得到标识字段。

进一步地，获取预设正则表达式包括：确定网页地址的匹配类型，匹配类型包括日期型、数字序列型和全局唯一标识符型；如果网页地址的匹配类型为日期型，则选择用于匹配日期的正则表达式作为预设正则表达式；如果网页地址的匹配类型为数字序列型，则选择用于匹配数字序列的正则表达式作为预设正则表达式；以及如果网页地址的匹配类型为全局唯一标识符型，则选择用于匹配全局唯一标识符的正则表达式作为预设正则表达式。

进一步地，在确定待检测网页为新增页面之后，该方法还包括：记录标识字段；判断是否获取完毕网站访问日志中的每一条网页访问日志；如果判断出获取完毕网站访问日志中的每一条网页访问日志，则比较记录的所有标识字段对应的时间；以及根据对应最晚时间的标识字段更新预设基准字段。

为了实现上述目的，根据本发明的另一方面，提供了一种网页更新处理装置。

根据本发明的网页更新处理装置包括：第一获取模块，用于获取待检测网页的网页地址；第二获取模块，用于获取网页地址中用于标识网页更新时间的标识字段；第三获取模块，用于获取预设基准字段，预设基准字段用于表示网页更新统计的开始时间；第一判断模块，用于判断标识字段对应的时间是否不早于预设基准字段对应的时间；以及确定模块，用于当标识字段对应的时间早于预设基准字段对应的时间时，则确定待检测网页不是新增页面，当标识字段对应的时间不早于预设基准字段对应的时间时，则确定待检测网页为新增页面。

进一步地，第一获取模块包括：第一获取单元，用于从网站访问日志中获取待检测网页的访问日志；查找单元，用于查找访问日志中标识网页地址的标识符；以及第二获取单元，用于基于标识符获取网页地址。

进一步地，第二获取模块包括：第三获取单元，用于获取预设正则表达式；以及匹配单元，用于根据预设正则表达式对网页地址进行正则匹配，得到标识字段。