[发明专利]信息抓取方法及装置

摘要

本发明实施例提供一种信息抓取方法及装置。统计信息网站列表，并将所述信息网站对应的列表页保存在第一数据库中的列表页数据库，其中，所述列表页中保存有所述信息网站与对应的URL地址的对照关系；从所述第一数据库中读取所述列表页的内容，抓取符合预设抓取策略的所述详情页链接地址并将所述抓取后的所述详情页链接地址保存在所述第一数据库中的详情页数据库；将所述详情页链接地址分配到不同的抓取机器上进行抓取，并将抓取得到的网页详情数据保存在第二数据库中；根据所述第一数据库中的数据库状态码从所述第二数据库中抓取出相应的所述网页详情数据，并抽取目标字段，保存为目标格式。实现了信息抓取的实时性、高效性以及智能性。

主权项

1.一种信息抓取方法，其特征在于，包括如下的步骤：统计信息网站列表，并将所述信息网站对应的列表页保存在第一数据库中的列表页数据库，其中，所述列表页中保存有所述信息网站与对应的URL地址的对照关系；从所述第一数据库中读取所述列表页的内容，抓取符合预设抓取策略的详情页链接地址并将所述抓取后的所述详情页链接地址保存在所述第一数据库中的详情页数据库；将所述详情页链接地址分配到不同的抓取机器上进行抓取，并将抓取得到的网页详情数据保存在第二数据库中；根据所述第一数据库中的数据库状态码从所述第二数据库中抓取出相应的所述网页详情数据，并抽取目标字段，保存为目标格式；其中，从所述第一数据库中读取所述列表页的内容，进一步包括：读取所述第一数据库，查询下次抓取时间字段，若判定下次抓取时间小于当前时间，则通过查询所述第一数据库中的状态码获取所述列表页中待抓取的所述详情页链接地址，并修改所述数据库状态码为正在抓取；将所述详情页链接地址分配到不同的抓取机器上进行抓取，并将抓取得到的网页详情数据保存在第二数据库中，进一步包括：将所述详情页链接地址分配到不同的所述抓取机器后，通过修改所述第一数据库中的所述数据库状态码来监控相应详情页的抓取状态，并将抓取到的网页详情数据保存到所述第二数据库；根据所述第一数据库中的数据库状态码从所述第二数据库中抓取出相应的所述网页详情数据，并抽取目标字段，保存为目标格式，进一步包括：根据预设频率将所述目标信息数据从本地磁盘中读取至所述第二数据库，抽取所述目标字段并结构化所述目标字段；将所述结构化的所述目标字段保存在抽取列表中，通过关联列表页标签，生成目标格式并导入到目标系统中；通过所述第一数据库中的抓取状态码判断当前列表页链接的使用状态来实时监控信息的采集状态，当列表页中的某一网站上的信息正在被抓取时，所述数据库状态码被修改为正在抓取，而抓取得到的数据保存在所述第二数据库，根据数据库状态码查询出需要解析的网页，进入所述第二数据库中查询，并解析网页。