[发明专利]网络数据抓取方法和爬虫

权利要求书

1.一种网络数据抓取方法，其特征在于，包括：

调用浏览器发起网页访问请求；

模拟用户操作，获取返回页面，其中，所述用户操作包括点击、滑动滚轮，以及输入内容并提交中的一个或多个；

在所述返回页面中提取目标内容，包括：

判断所述返回网页是否为不标准网页和/或加载不完全的网页；

若所述返回网页为不标准网页和/或加载不完全的网页，则通过正则表达式在所述返回页面中提取所述目标内容；否则，通过可扩展标记语言路径语言XPATH在所述返回页面中提取所述目标内容。

2.根据权利要求1所述的方法，其特征在于，所述调用浏览器发起网页访问请求包括：

在请求者地址列表中选取互联网协议IP地址；

调用所述浏览器，采用所述IP地址作为源地址发起所述网页访问请求。

3.根据权利要求2所述的方法，其特征在于，还包括：

若采用所述IP地址无法访问目标网页，则从所述请求者地址列表中删除所述IP地址。

4.根据权利要求3所述的方法，其特征在于，所述调用浏览器发起网页访问请求还包括：

判断所述请求者地址列表中IP地址的数量是否达到预定门限；

若所述IP地址的数量小于所述预定门限，则在所述请求者地址列表中填充所述IP地址。

5.根据权利要求1～4任意一项所述的方法，其特征在于，所述提取目标内容包括：返回页面长度判断和目标搜索。

6.一种网络爬虫，其特征在于，包括：

请求访问模块，用于调用浏览器发起网页访问请求；

用户模拟模块，用于模拟用户操作，其中，所述用户操作包括点击、滑动滚轮，以及输入内容并提交中的一个或多个；

网页内容获取模块，用于获取返回页面；

内容提取模块，用于在所述返回页面中提取目标内容，包括：

页面判断单元，用于判断所述返回网页是否为不标准网页和/或加载不完全的网页；

提取操作单元，用于当所述返回网页为不标准网页和/或加载不完全的网页时，通过正则表达式在所述返回页面中提取所述目标内容；否则，通过可扩展标记语言路径语言XPATH在所述返回页面中提取所述目标内容。

7.根据权利要求6所述的网络爬虫，其特征在于，所述请求访问模块包括：

源地址获取单元，用于在请求者地址列表中选取互联网协议IP地址；

访问单元，用于调用所述浏览器，采用所述IP地址作为源地址发起所述网页访问请求。

8.根据权利要求7所述的网络爬虫，其特征在于，还包括：

地址删除模块，用于当采用所述IP地址无法访问目标网页时，从所述请求者地址列表中删除所述IP地址。

9.根据权利要求8所述的网络爬虫，其特征在于，所述请求访问模块还包括：

数量判断单元，用于判断所述请求者地址列表中IP地址的数量是否达到预定门限；

地址填充单元，用于当所述网页地址的数量小于所述预定门限时，在待搜索地址列表填充所述网页地址。

10.根据权利要求6～9任意一项所述的网络爬虫，其特征在于，所述提取目标内容包括：返回页面长度判断和目标搜索。