[发明专利]一种B/S结构系统的数据抓取方法

权利要求书

1.一种B/S结构系统的数据抓取方法，其特征在于，所述方法包括：

地址列表获取步骤，获取需要抓取的网页的地址列表信息；

网页数据请求步骤，根据网页的地址列表信息提出请求，得到网页的内容；

网页数据抓取步骤，分析网页的结构，并提取出想要的内容。

2.根据权利要求1所述的数据抓取方法，其特征在于：

所述方法进一步包括：模拟登录步骤，根据登录验证信息模拟登录；登录后，再进行数据的抓取。

3.根据权利要求1所述的数据抓取方法，其特征在于：

所述网页数据抓取步骤中，根据数据发送的源地址与目标地址抓取所需的网页中的数据，抓取的数据为TCP/IP数据包，对TCP/IP数据包进行解析后获得HTTP协议中的文本数据。

4.根据权利要求3所述的数据抓取方法，其特征在于：

所述方法包括C/S数据抓取流程，抓取C/S结构系统的数据；包括如下步骤：

钩子加载步骤：钩子加载模块根据进程数量生成设定数量的抓取钩子模块，配置给需要抓取的进程；一个进程配置一个抓取钩子模块，或者多个进程配置一个抓取钩子模块，或者一个进程配置多个抓取钩子模块；

数据抓取步骤：抓取钩子模块监控其对应进程中业务数据的传递，并抓取相应的业务数据；

配置文件生成步骤：配置文件生成模块将所述抓取钩子模块抓取的业务数据按照可配置的格式写入配置文件中，供其他系统进行数据录入。

数据利用步骤，根据所述配置文件生成模块生成的配置文件获取相应数据，并进行数据录入。