[发明专利]一种数据库更新方法及装置

说明书

技术领域

本发明涉及软件技术领域，特别涉及一种数据库更新方法及装置。

背景技术

随着互联网技术的快速发展，互联网上的信息越来越丰富，因此，越来越 多的用户通过搜索引擎搜索所需要的信息。

各个搜索引擎一般通过网络爬虫获得目标网页的网页信息，并将所获得的 网页信息更新至相应的数据库中，以为用户提供更全面的搜索信息。其中，网 络爬虫，是指能够按照一定的规则，自动抓取网络信息的程序或者脚本。

现有技术中，搜索引擎在相应数据库中更新蜘蛛程序获得的目标网页的网 页信息时，一般先根据目标网页的网址信息等判断数据库中是否存在与该目标 网页相对应的数据记录，若不存在，在已存储的最后一条数据记录之后增加目 标网页对应的数据记录，其中，各条数据记录一般存储在数据库的一个数据表 中。

当数据库中信息较少时，应用上述方式能够快速实现数据库更新，然而， 随着蜘蛛程序所获得网页的网页信息越来越多，数据库所包含的数据记录也越 来越多，因此，每次更新数据库时，判断数据库中是否存在某一网页对应的数 据记录需要的时间越来越长，进而每次更新数据库的速度变慢。

发明内容

本发明实施例公开了一种数据库更新方法及装置，以提高更新数据库的速 度。

为达到上述目的，本发明实施例公开了一种数据库更新方法，所述方法包 括：

获得目标网页的网页参数，其中，所述网页参数中包括：所述目标网页对 应的目标网站的标识和所述目标网页在所述目标网站中的标识；

根据所述目标网页对应的目标网站的标识，在待更新数据库中确定与所述 目标网站对应的数据表，其中，所述待更新数据库中所包含数据表的数量＞1；

根据所述目标网页在所述目标网站中的标识，判断所述目标网站对应的数 据表中是否存在所述目标网页对应的数据记录，其中，所述数据记录中包括： 所述目标网页在所述目标网站中的标识和所述目标网页对应的索引标识；

若不存在，生成所述目标网页对应的索引标识；在所述目标网站对应的数 据表中增加所述目标网页对应的数据记录。

可选的，在所述生成所述目标网页对应的索引标识之前，还包括：

将索引标识生成标记位设置为锁定状态，其中，当所述索引标识生成标记 位为锁定状态时，表示当前只能计算所述目标网页对应的索引标识；

根据所述目标网页在所述目标网站中的标识，判断所述目标网站对应的数 据表中是否存在所述目标网页对应的数据记录；

若不存在，则执行所述生成所述目标网页对应的索引标识的步骤；

在所述生成所述目标网页对应的索引标识之后，还包括：

将索引标识生成标记位设置为解锁状态，其中，当所述索引标识生成标记 位为解锁状态时，表示能够开始计算除了所述目标网页之外的其他网页对应的 索引标识。

可选的，所述生成所述目标网页对应的索引标识，包括：

获得所述待更新数据库中已存储的数据记录对应的索引标识的最大值 Value_SID_max；

计算Value_SID_max除以预设的第一阈值的余数R；

判断余数R是否小于预设的第二阈值；

若为是，则计算得所述目标网页对应的索引标识＝R+预设的第二阈值；

否则，计算得所述目标网页对应的索引标识＝R+预设的第三阈值。

可选的，所述获得所述待更新数据库中已存储的数据记录对应的索引标识 的最大值Value_SID_max，包括：

根据本地存储的索引标识值Value_SID_L，获得所述待更新数据库中已存储 的数据记录对应的索引标识的最大值Value_SID_max；

其中，在启动所述待更新数据库对应的更新程序之后，将本地存储的 Value_SID_L设置为：Value_SID_D_max值，Value_SID_D_max为所述待更新数据库 中存储的所述待更新数据库中已存储的数据记录对应的索引标识的最大值；

在所述将本地存储的Value_SID_L设置为：Value_SID_D_max值之后，还包括：