[发明专利]一种数据库更新方法及装置在审
| 申请号: | 201410453679.X | 申请日: | 2014-09-05 |
| 公开(公告)号: | CN105468637A | 公开(公告)日: | 2016-04-06 |
| 发明(设计)人: | 杜玉杰 | 申请(专利权)人: | 北京联嘉众赢网络技术有限公司 |
| 主分类号: | G06F17/30 | 分类号: | G06F17/30 |
| 代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 马敬;项京 |
| 地址: | 100022 北京市朝阳区东三*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 数据库 更新 方法 装置 | ||
1.一种数据库更新方法,其特征在于,所述方法包括:
获得目标网页的网页参数,其中,所述网页参数中包括:所述目标网页对 应的目标网站的标识和所述目标网页在所述目标网站中的标识;
根据所述目标网页对应的目标网站的标识,在待更新数据库中确定与所述 目标网站对应的数据表,其中,所述待更新数据库中所包含数据表的数量>1;
根据所述目标网页在所述目标网站中的标识,判断所述目标网站对应的数 据表中是否存在所述目标网页对应的数据记录,其中,所述数据记录中包括: 所述目标网页在所述目标网站中的标识和所述目标网页对应的索引标识;
若不存在,生成所述目标网页对应的索引标识;在所述目标网站对应的数 据表中增加所述目标网页对应的数据记录。
2.根据权利要求1所述的方法,其特征在于,
在所述生成所述目标网页对应的索引标识之前,还包括:
将索引标识生成标记位设置为锁定状态,其中,当所述索引标识生成标记 位为锁定状态时,表示当前只能计算所述目标网页对应的索引标识;
根据所述目标网页在所述目标网站中的标识,判断所述目标网站对应的数 据表中是否存在所述目标网页对应的数据记录;
若不存在,则执行所述生成所述目标网页对应的索引标识的步骤;
在所述生成所述目标网页对应的索引标识之后,还包括:
将索引标识生成标记位设置为解锁状态,其中,当所述索引标识生成标记 位为解锁状态时,表示能够开始计算除了所述目标网页之外的其他网页对应的 索引标识。
3.根据权利要求1所述的方法,其特征在于,所述生成所述目标网页对应 的索引标识,包括:
获得所述待更新数据库中已存储的数据记录对应的索引标识的最大值 Value_SIDmax;
计算Value_SIDmax除以预设的第一阈值的余数R;
判断余数R是否小于预设的第二阈值;
若为是,则计算得所述目标网页对应的索引标识=R+预设的第二阈值;
否则,计算得所述目标网页对应的索引标识=R+预设的第三阈值。
4.根据权利要求3所述的方法,其特征在于,所述获得所述待更新数据库 中已存储的数据记录对应的索引标识的最大值Value_SIDmax,包括:
根据本地存储的索引标识值Value_SID_L,获得所述待更新数据库中已存储 的数据记录对应的索引标识的最大值Value_SIDmax;
其中,在启动所述待更新数据库对应的更新程序之后,将本地存储的 Value_SID_L设置为:Value_SID_Dmax值,Value_SID_Dmax为所述待更新数据库 中存储的所述待更新数据库中已存储的数据记录对应的索引标识的最大值;
在所述将本地存储的Value_SID_L设置为:Value_SID_Dmax值之后,还包括:
将Value_SID_Dmax更新为:当前Value_SID_Dmax+预设的第四阈值;
在计算得到所述目标网页对应的索引标识之后,还包括:
将Value_SID_L值更新为所述目标网页对应的索引标识;
判断所述目标网页对应的索引标识是否大于Value_SID_Dmax;
若为是,则将Value_SID_Dmax更新为:当前Value_SID_Dmax+预设的第四阈 值;
在结束所述待更新数据库对应的更新程序之后,还包括:
将Value_SID_Dmax更新为:Value_SID_Dmax=Value_SID_L。
5.根据权利要求1所述的方法,其特征在于,在所述生成所述目标网页对 应的索引标识之后,还包括:
向网络爬虫模块或者非所述待更新数据库发送所生成的索引标识。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京联嘉众赢网络技术有限公司,未经北京联嘉众赢网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410453679.X/1.html,转载请声明来源钻瓜专利网。





