[发明专利]一种网页获取方法及装置

说明书

本说明书公开了一种网页获取方法及装置，可先确定最近一次获取的各目标网页以及未获取的各其它网页。针对每个目标网页，根据最近两次获取到的该目标网页的页面信息，确定该目标网页的更新参数，并根据该目标网页的至少一个更新参数，确定该目标网页在单位时间内的更新概率。之后，根据各网页最近一次确定出的更新概率以及页面评价指标，确定获取顺序，并按照该获取顺序，重新确定各目标网页，获取并存储各目标网页的页面信息。通过各网页页面信息的变化情况，确定各网页的更新概率，并基于各网页的更新概率确定各网页的获取顺序，提高了获取信息发生变更的网页的命中率，减少了资源浪费。

技术领域

本申请涉及计算机技术领域，尤其涉及一种网页获取方法及装置。

背景技术

通常用户在业务平台中进行信息搜索时，业务平台可根据预先构建的信息索引文件，向用户返回信息搜索的相关内容。其中，信息索引文件是业务平台预先基于若干网页的页面信息构建的。

由于网页的页面信息随时可能发生变化，而业务平台无法获知页面的变化信息，导致信息索引更新不及时，用户体验较差。

因此在现有技术中，为了及时更新信息索引，各业务平台可周期性的重新获取网页的页面信息。具体的，在每个更新周期内，各业务平台可按照各网页的页面浏览量，对待获取的各网页进行排序，并根据排序结果，依次重新获取各网页的页面信息并更新信息索引。其中，更新周期可根据各业务平台的需要进行设置，如，设置为一个月。

但是，并非所有网页在更新周期内页面信息均会发生变化，重复获取未变化的网页会导致资源浪费。且由于一次完整的获取周期较长，导致部分发生信息变化的网页无法得到及时更新。

发明内容

本说明书实施例提供一种网页获取方法及装置，用于部分解决现有技术中的问题。

本说明书实施例采用下述技术方案：

本说明书提供的一种网页获取方法，包括：

从待获取的各网页中，确定最近一次获取的各目标网页，以及未获取的各其它网页；

针对每个目标网页，根据最近两次获取到的该目标网页的页面信息，确定并存储该目标网页的更新参数，所述更新参数用于表征网页内容是否发生变化；

根据该目标网页历史上存储的至少一个更新参数，确定该目标网页在单位时间内的更新概率；

根据各目标网页的更新概率以及页面评价指标、各其它网页最近一次确定出的更新概率以及页面评价指标，确定待获取的各网页的获取顺序；

根据确定出的各网页的获取顺序，重新确定待获取的各目标网页，获取并存储各目标网页的页面信息。

可选地，根据最近两次获取到的该目标网页的页面信息，确定该目标网页的更新参数，具体包括：

根据最近两次获取到的该目标网页的页面信息，分别确定各页面信息对应的页面特征；

根据最近两次获取到的各页面信息对应的页面特征，确定该目标网页的更新参数。

可选地，根据各目标网页的更新概率以及页面评价指标、各其它网页最近一次确定出的更新概率以及页面评价指标，确定待获取的各网页的获取顺序，具体包括：

根据各目标网页的更新概率以及当前距离最近一次获取各目标网页的时间间隔，确定各目标网页的当前更新概率；

根据各其它网页最近一次确定出的更新概率以及当前距离最近一次获取各其它网页的时间间隔，确定各其它网页的当前更新概率；

根据各目标网页的当前更新概率以及页面评价指标、各其它网页的当前更新概率以及页面评价指标，确定待获取的各网页的获取顺序。