[发明专利]信息抓取方法及装置

权利要求书

1.一种信息抓取方法，其特征在于，包括如下的步骤：

统计信息网站列表，并将所述信息网站对应的列表页保存在第一数据库中的列表页数据库，其中，所述列表页中保存有所述信息网站与对应的URL地址的对照关系；

从所述第一数据库中读取所述列表页的内容，抓取符合预设抓取策略的详情页链接地址并将所述抓取后的所述详情页链接地址保存在所述第一数据库中的详情页数据库；

将所述详情页链接地址分配到不同的抓取机器上进行抓取，并将抓取得到的网页详情数据保存在第二数据库中；

根据所述第一数据库中的数据库状态码从所述第二数据库中抓取出相应的所述网页详情数据，并抽取目标字段，保存为目标格式；

其中，

从所述第一数据库中读取所述列表页的内容，进一步包括：

读取所述第一数据库，查询下次抓取时间字段，若判定下次抓取时间小于当前时间，则通过查询所述第一数据库中的状态码获取所述列表页中待抓取的所述详情页链接地址，并修改所述数据库状态码为正在抓取；

将所述详情页链接地址分配到不同的抓取机器上进行抓取，并将抓取得到的网页详情数据保存在第二数据库中，进一步包括：

将所述详情页链接地址分配到不同的所述抓取机器后，通过修改所述第一数据库中的所述数据库状态码来监控相应详情页的抓取状态，并将抓取到的网页详情数据保存到所述第二数据库；

根据所述第一数据库中的数据库状态码从所述第二数据库中抓取出相应的所述网页详情数据，并抽取目标字段，保存为目标格式，进一步包括：

根据预设频率将所述目标信息数据从本地磁盘中读取至所述第二数据库，抽取所述目标字段并结构化所述目标字段；

将所述结构化的所述目标字段保存在抽取列表中，通过关联列表页标签，生成目标格式并导入到目标系统中；

通过所述第一数据库中的抓取状态码判断当前列表页链接的使用状态来实时监控信息的采集状态，当列表页中的某一网站上的信息正在被抓取时，所述数据库状态码被修改为正在抓取，而抓取得到的数据保存在所述第二数据库，根据数据库状态码查询出需要解析的网页，进入所述第二数据库中查询，并解析网页。

2.根据权利要求1所述的方法，其特征在于，

从所述第一数据库中读取所述列表页的内容，抓取符合预设抓取策略的详情页链接地址并将所述抓取后的所述详情页链接地址保存在所述第一数据库中的详情页数据库，进一步包括：

访问互联网进行数据下载，当判定下载成功之后，抽取目标信息网站的详情页链接地址，并以所述目标信息网站和对应的所述详情页链接地址更新所述详情页数据库，其中，所述数据为目标信息网站及对应的所述详情页链接地址。

3.根据权利要求2所述的方法，其特征在于，

所以所述目标信息网站和对应的所述详情页链接地址更新所述列表页，进一步包括：

每保存一个新的所述详情页链接地址，则计算所述列表页中出现的最新详情页比例，从而动态规划抓取间隔，更新所述第一数据库中的下次抓取时间字段。

4.根据权利要求1所述的方法，其特征在于：

所述第一数据库为关系型数据库，包括：MySQL、Oracle、DB2、Microsoft SQL Server、Microsoft Access；

所述第二数据库为非关系型数据库，包括：Cassandra、HBase、Riak、Voldemort、OracleBDB。

5.根据权利要求1所述的方法，其特征在于，将所述详情页链接地址分配到不同的抓取机器上进行抓取，进一步包括：

所述抓取机器根据预设的格式下载目标信息，并将所述目标信息数据保存到本地磁盘用以备份数据。