[发明专利]一种对监测网站进行网络信息采集的方法和装置

权利要求书

1.一种对监测网站进行网络信息采集的装置，其特征在于，包括：

所述信息采集系统，与代理服务器进行网络连接，用于接收所述代理服务器传输过来的网络信息；

所述代理服务器，与监测网站进行网络连接，用于通过多个IP地址轮循对所述监测网站进行信息采集，将采集到的网络信息传输给所述信息采集系统。

2.如权利要求1所述的装置，其特征在于，所述代理服务器包括：

信息管理模块，用于管理代理服务器的多个IP地址，根据代理服务器需要监测的各个监测网站的参数信息，将各个监测网站划分成不同的级别，针对每个级别的监测网站分别设定相应的网络信息的采集时间间隔，将每个监测网站的标识、监测网站所属的级别与监测网站对应的采集时间间隔之间的对应关系存储在采集时间间隔表中；

信息采集系统网络连接模块，用于将所述代理服务器的每个IP地址和将信息采集系统的IP地址进行网络连接；

监测网站网络连接模块，用于根据监测网站对应的采集时间间隔，将代理服务器的每个IP地址轮循与所述监测网站进行网络连接。

3.如权利要求2所述的装置，其特征在于，所述监测网站网络连接模块具体用于当所述代理服务器只对一个监测网站进行网络信息采集时，根据该监测网站的标识查询所述采集时间间隔表，获取该监测网站对应的采集时间间隔；按照这个监测网站对应的采集时间间隔，将代理服务器的各个IP地址轮循和该监测网站进行网络连接；或者，从空闲的代理服务器的多个IP地址中随机选取一个IP地址和该监测网站进行网络连接。

4.如权利要求3所述的装置，其特征在于，所述监测网站网络连接模块具体用于当所述代理服务器对多个监测网站进行网络信息采集，将一个代理服务器对应的多个监测网站配置为相同级别的监测网站；根据所述代理服务器对应的任意一个监测网站的标识查询所述采集时间间隔表，获取所述代理服务器对应的各个监测网站对应的采集时间间隔，将所述代理服务器的每个IP地址按照所述采集时间间隔轮循和各个监测网站进行网络连接，一个监测网站在同一时间只和一个代理服务器的IP地址进行网络连接。

5.如权利要求4所述的装置，其特征在于，所述代理服务器还包括：

网络信息采集模块，用于在代理服务器中设置多个网页抓取工具，给每个网页抓取工具分别配置一个代理服务器的IP地址，当一个网页抓取工具配置的IP地址连接了一个监测网站后，该网页抓取工具通过配置的IP地址对所述某个监测网站进行网络信息采集；

网络信息传输模块，用于对所述网页抓取工具采集的网络信息进行格式化处理，得到格式化网络文件，对所述格式化网络文件进行加密处理，通过和所述信息采集系统的IP地址之间的网络连接将加密处理后的格式化网络文件传输给所述信息采集系统。

6.一种利用权利要求5所述的装置对监测网站进行网络信息采集的方法，其特征在于，包括如下步骤：

步骤S210、将信息采集系统和代理服务器进行网络连接，将代理服务器的每个IP地址轮循与监测网站进行网络连接；

步骤S220、代理服务器通过多个IP地址轮循对所述监测网站进行信息采集；

步骤S230、代理服务器将采集到的网络信息传输给所述信息采集系统。

网络信息传输模块对网页抓取工具采集的网络信息进行格式化处理，得到格式化网络文件，对所述格式化网络文件进行加密处理，代理服务器通过和所述信息采集系统的IP地址之间的网络连接，将加密处理后的格式化网络文件传输给所述信息采集系统。