[发明专利]一种网络信息数据分类采集方法

说明书

本发明公开了一种网络信息数据分类采集方法，包括以下步骤：采集准备：在云服务器内部创建数据库，云服务器的内部运行着信息采集分类软件，信息采集分类软件的信息采集端采用多个网络爬虫，每个网络爬虫对应至少一个分类参数，确定每一个分类参数对应的参数值；搭建链接：先是确定需要采集网络信息数据的类型，然后选择适合采集网络信息数据的网站或网络地址，通过信息采集分类软件与相应的网站；本发明通过网络爬虫抓取目标网站或网络地址的数据信息，并且事先确定待采集数据的至少一个分类参数，分类进行数据信息采集，每一个分类对应列表页面的内容较少，因此可以利用网络爬虫将列表页面上的数据信息全部采集下来。

技术领域

本发明涉及网络信息技术领域，具体为一种网络信息数据分类采集方法。

背景技术

如今大数据时代悄然兴起，网络上充斥着大量的公开信息，而且大型互联网站比比皆是，因此这些网站成为了数据采集工作的重点对象，各种网络信息数据分类采集方法开始出现，但是目前信息数据采集的网站多是大型的互联网站，数据总量过大，目前的网络信息数据分类采集方法无法实现网站信息的全部覆盖，容易造成数据遗漏，为此提出一种网络信息数据分类采集方法，来解决此问题。

发明内容

本发明的目的在于提供一种网络信息数据分类采集方法，解决了目前信息数据采集的网站多是大型的互联网站，数据总量过大，目前的网络信息数据分类采集方法无法实现网站信息的全部覆盖，容易造成数据遗漏的问题。

为实现上述目的，本发明提供如下技术方案：一种网络信息数据分类采集方法，包括以下步骤：

步骤1：采集准备：在云服务器内部创建数据库，云服务器的内部运行着信息采集分类软件，信息采集分类软件的信息采集端采用多个网络爬虫，每个网络爬虫对应至少一个分类参数，确定每一个分类参数对应的参数值；

步骤2：搭建链接：先是确定需要采集网络信息数据的类型，然后选择适合采集网络信息数据的网站或网络地址，通过信息采集分类软件与相应的网站、网络地址建立链接，按照数据种类分别设置多个网络爬虫，每个网络爬虫负责一类或两类数据的采集；

步骤3：数据采集：网络爬虫可以直接进入网站或网络地址的目标列表页面及其分页页面，可以对网络信息进行纵、横双向的数据与信息抓取，然后将相应的信息数据传输回数据库；

步骤4：分类存储：数据库内部按照分类需要事先划分好各个分类目录，每个网络爬虫传输回的信息数据直接存储在相应分类的目录下，使用者可以按照需要选择合适的分类软件对数据库内部的数据进行再次分类显示输出。

优选的，所述在步骤1中，确定每一个分类参数对应的参数值，包括：确定待采集数据所在的目标网站或网络地址；在目标网站或网络地址中获取待采集数据对应的列表页面；在列表页面中逐个选择每一个分类参数，得到每一个分类参数对应的分类链接；根据得到的各个分类链接，确定每一个分类参数对应的参数值。

优选的，所述在步骤1中，根据每一个分类参数和对应的参数值，生成各个分类参数分别对应的链接，分别针对每一个当前分类参数及对应的当前参数值，将当前分类参数、当前参数值以及设定的字符按设定形式进行拼接；将拼接后的内容添加到当前分类参数对应的分类链接中，得到当前分类参数对应的入口链接。

优选的，所述在步骤3中，需要采集的信息是收费信息时，可以通过云服务器内部的安全支付软件进行支付。

优选的，所述在步骤3中，重复的信息数据经过专门的软件进行过滤剔除，相似的信息进行合并。

优选的，所述在步骤3中，网络爬虫针对每一个链接，逐个采集相应分类参数所对应的数据。

优选的，所述在步骤3中，信息数据采集时，获取当前链接对应的目标列表页面，目标列表页面中包括至少一个分页页面；对每一个分页页面中的详情链接进行访问，并对访问的详情链接进行数据采集。

优选的，所述在步骤4中，原始的信息数据存储在云服务器，信息采集分类软件通过分类存储对采集的信息数据进行分类存储。