[发明专利]一种物联网动态页面实时信息采集方法

摘要

一种物联网动态页面实时信息采集方法，所述方法分为四个部分，涉及四个模块，这四个模块分别是加载页面模块、获取页面HTML模块、解析所得HTML模块和数据存储模块，加载页面模块通过网络链接地址加载外部页面，并将加载的动态页面传递给获取HTML模块，由获取HTML模块获取该页面的HTML文档，同时将所获得的HTML文档传递给解析HTML模块，解析HTML模块通过定位技术从得到的HTML文档中解析出所需要的文本内容，并将这些文本内容传给数据存储模块进行存储。本发明实现了物联网实体动态信息的实时获取及存储，而且不需要连接服务器上的数据库，具有良好的可扩展性，能满足物联网海量数据量的处理要求。

主权项

一种物联网动态页面实时信息采集方法，其特征是，所述方法分为四个部分，涉及四个模块，这四个模块分别是加载页面模块、获取页面HTML模块、解析所得HTML模块和数据存储模块；其中，加载页面模块通过网络链接地址加载外部页面，并将加载的动态页面传递给获取HTML模块，由获取HTML模块获取该页面的HTML文档，同时将所获得的HTML文档传递给解析HTML模块，解析HTML模块通过定位技术从得到的HTML文档中解析出所需要的文本内容，并将这些文本内容传给数据存储模块进行存储；所述采集按以下步骤进行：1)首先通过“Watir::Browser.new”创建一个浏览器实例，从而来模拟浏览器的操作，通过“goto('http://10.14.11.100/sh/index.jsp')”方法加载到物联网智能家居动态页面；2)在Watir模拟浏览器的过程中，通过“onclick”方法模拟点击操作，对步骤1)中加载的页面实现翻页功能，通过“li(:id,'mainlevel_02').links[0].click”方法实现模拟点击翻页操作；3)通过IFrame框架的src属性使Watir定位到“jsp/wsd.jsp”，即用方法“.frame(:src,'jsp/wsd.jsp')”实现定位，其中“jsp/wsd.jsp”即为步骤2)中翻页后动态显示实时跳变数据的JS模块；通过循环加载物联网动态页面的对应框架，周期获取框架下的HTML文档，代码循环实现速度快；4)利用Watir的等待机制以及Ruby的休眠机制来控制等待加载动态页面的时间，即通过“.wait”方法和“sleep()”方法实现等待；5)Watir通过“.frame.html”方法获取步骤3)中框架下的HTML文档；6)Nokogiri通过“Nokogiri::HTML.parse”方法爬取步骤5)获得的HTML文档，并进行解析；7)Nokogiri通过“.css('div.shiduqu div.shidu').text”方法对步骤6)中爬取的HTML文档实现CSS Selector定位功能，返回文本内容；8)利用Ruby中的File类创建文档，用来存储步骤7)中返回的文本数据，通过“File.new(#{i}.txt,w)”方法实现创建txt文档，并将内容写入文档中，其中“#{i}”即为文档名，通过变量i来控制，实现循环存储的功能，即每循环一次就创建一个新的文档；使用开发式的统一数据库接口DBI与数据库驱动插件连接，实现对数据库的访问和操作数据；9)判断是否执行循环条件，从而实现循环存储的功能，即每循环一次就创建一个新的文档。