[发明专利]一种基于数据爬虫技术的数据提取方法

权利要求书

1.一种基于数据爬虫技术的数据提取方法，其特征在于，包括：

利用Beautiful Soup在HTML解析器的帮助下,以实现信息搜索的目的,处理数据导航,能够实现对需要的数据信息的收集、筛选；

控制模块，所述控制模块作为程序的总入口，对整个数据提取模型起到调度作用，调用各个模块，初始化基本参数，然后启动数据爬虫程序，并对其他模块的运行进行控制，遵循设定好的作业流程，发布调度指令，依次完成各项作业；

利用URL管理器，对各种类型的URL进行管理，并进行编码转换，得到准确有效的数据信息；

获取URL后，利用页面下载器，进行HTML、JSON及XML等页面数据的获取；

通过XPath路径语言对XML文档的部分语言进行确定,适用于在树状结构中定位并筛选某些信息,从而得到独特的数据，还可对1XM1库进行标签,从而完成信息的提取并进行导航；

通过页面解析器进行处理，得到目标数据，并储存于数据储存模块；

Robot管理器则按照Robot.txt协议，调用URL管理器，确定地址的目录结构，在出现异常时，启动异常处理模块；

创建数据库，设置各个模块的参数，输入网站入口URL后，解析参数配置，开启数据提取的相关操作；

基于urllib.request库，应用urlopen方法，利用页面下载器进行数据下载，并使用数据解析器进行分析，搜索文档树，获取主题数据。

2.根据权利要求1所述的一种基于数据爬虫技术的数据提取方法，其特征在于：应用多线程爬虫技术时，利用线程管理模块进行管理。

3.根据权利要求1所述的一种基于数据爬虫技术的数据提取方法，其特征在于：所述URL管理器中，进行爬取URL集合的创建(已爬取、未爬取)，应用set的pop方法，获取URL集合。

4.根据权利要求1所述的一种基于数据爬虫技术的数据提取方法，其特征在于：所述Beautiful Soup在XML、HTML等文件中抓取Python库,从而对相关数据信息进行筛选。

5.根据权利要求1所述的一种基于数据爬虫技术的数据提取方法，其特征在于：通过对所述XML文档进行操作时,应该对1XM1的信息进行导入,并使相关信息转移至etree包,在抓取网页数据,包括文字信息、音频、视频等,在下载至本地时还需予以前缀进行区分。

6.根据权利要求1所述的一种基于数据爬虫技术的数据提取方法，其特征在于：所述数据储存模块能够将所采集的数据进行准确的分类,在收集到相关数据信息后,需对收集的数据信息进行相应的处理,分析数据信息的差异性,从而将其分为不同的类别,以选择与之契合的储存路径及储存方式。

7.根据权利要求1所述的一种基于数据爬虫技术的数据提取方法，其特征在于：所述数据储存模块能够储存用户信息,通过用户的个人中心,收集与用户相关联的其他用户信息,包括用户的名称、用户头像以及用户的背景图片等。

8.根据权利要求1所述的一种基于数据爬虫技术的数据提取方法，其特征在于：所述数据库具备选页、翻页选项和关键字查询选项,所述选页、翻页选项在进行实时的数据的抓取时,在控制模块的辅助下,能够进行选页、翻页等操作,所述关键字查询选项通过关键字的输入,实现对信息的检索,将检索到的信息进行下载。

9.根据权利要求1所述的一种基于数据爬虫技术的数据提取方法，其特征在于：所述控制模块对图片进行处理,在检索到用户想要的图片后,在将图片储存至本地文件的同时,还能够处理并分析图片所包含的信息,并将信息提取至txt文件中。