[发明专利]一种基于微信小程序和爬虫的数据展示方法

摘要

本发明公开了一种基于微信小程序和爬虫的数据展示方法，通过爬虫框架Scrapy对各个网站进行爬取数据，将爬取的数据村存储到云服务器上的MongoDB数据库中，通过Python的Django框架编写后端代码来获取爬取到的数据，并提供接口给微信小程序来获取数据将其进行展示。本发明充分利用了微信小程序的无需安装、节省内存的优点，运用了爬虫技术来爬取数据，解决以往安装App才能浏览信息的问题。

主权项

1.一种基于微信小程序和爬虫的数据展示方法，其特征在于，包括以下步骤：步骤1：首先对页面进行编写，使用微信开发者工具进行编写模块的页面代码，在此工具中先创建一个项目，创建的项目自带两个文件夹pages和utils和四个文件，四个文件分别是app.js、app.json、app.wxss和project.config.json；每个文件夹和每个文件有着不同的功能，pages文件夹中每个文件夹代表着每个模块，即模块文件夹，每个模块文件夹都有四个文件，分别是js、json、wxml和wxss文件，其中js文件是写js代码，处理页面的动态效果和数据获取，json文件是关于此模块配置信息，wxml是此模块的页面框架代码，最后wxss文件是页面渲染代码，四个文件组成一个模块；步骤2：完成步骤1的页面的编写，进一步需要对页面的数据进行动态的展示；在软件PyCharm中，通过在控制台中输入scrapy startproject projectName命令，创建一个Scrapy框架的爬虫项目，projectName是项目名，然后进入到projectName目录中，再在控制台中输入scrapy genspider scrapyName URL命令，创建一个爬虫文件，scrapyName是爬虫文件名，URL是爬虫网站的地址，输入scrapy crawl scrapyName来运行项目；电影模块、IT新闻模块、段子模块的数据都是从三个不同网站上爬取的，每个模块的爬虫都要创建一个爬虫文件，爬取不同的数据，将爬取的数据存储到云服务器上的mongoDB数据库上，在爬虫文件中，属性name、allowed_domains和start_urls分别是该爬虫的名称、域名名称和目标网站的URL，函数parse是处理数据的逻辑代码，将得到的页面代码经过xpath得到目标数据，再封装成对象，通过yield scrapy.Request代码将封装的对象传给pipelines.py文件，在该文件的process_item函数中，参数item就是封装好的对象；接下来就是将数据传给云服务器上的mongoDB数据库上，该数据库是非关系型数据库，每条数据的字段可以是不同的字段，适合用于存储爬虫数据；数据获得后，需要在微信小程序上获得数据，也就是需要接口(API)，通过调用接口将云服务器上mongoDB数据库的数据获取到返回给微信小程序，微信小程序将返回的数据展示在微信小程序的页面。