[发明专利]一种基于浏览器插件实现网页读写的装置

权利要求书

1.一种基于浏览器实现网页读写的装置，其特征在于：

包括浏览器插件模块、任务管理模块、数据处理模块；

浏览器插件模块为前端模块，安装部署在浏览器上，负责对网页数据读取和回写操作；

任务管理模块负责网页读、写任务的配置、下发启动和结束的生命流程管理；

数据处理模块负责网页数据与数据库表结构格式转换以及数据入库、出库的操作。

2.根据权利要求1所述的装置，其特征在于，

网页数据读取包括以下步骤：

S1插件安装，间隔五秒发送心跳至任务管理模块；

S2插件轮询等待任务下发启动；

S3任务管理模块配置读任务，配置内容为web页面的url，配置网页解析模板，勾选插件终端，下发任务；

S4插件接收到读任务，打开url，加载web页面，页面加载完毕后，插件根据解析模板对网页进行解析，解析成json数据；

S5插件将解析后的json数据上传至数据处理模块；

S6数据处理模块接收到json数据后根据网页元素与数据库表对应关系及转换规则进行转换，然后数据入库。

3.根据权利要求2所述的装置，其特征在于，

所述步骤S1中插件安装时会配置插件安装的浏览器类型是chrome、edge或360，同时为每一个浏览器插件终端配置一个id，id由装置任务管理器维护生成；插件安装启动后每隔5会发送心跳数据至任务管理模块；告知任务管理模块插件是否正常运行。

4.根据权利要求3所述的装置，其特征在于，

所述步骤S2中插件在无任务执行时会根据配置间隔时间执行任务轮询，轮询任务时传递插件id。

5.根据权利要求4所述的装置，其特征在于，

所述步骤S3中读任务配置时需要配置web页面的url，然后配置网页解析模板，是根据网页元素id、网页dom树形结构还是根据网元素属性进行读取，读取哪些元素；同时配置任务与数据库表名对应关系，网页元素与表字段对应关系以及转换规则；勾选浏览器插件终端来确定哪些浏览器插件来执行任务。

6.根据权利要求5所述的装置，其特征在于，

所述步骤S4中插件根据解析模板对网页进行解析并形成json数据。

7.根据权利要求6所述的装置，其特征在于，

所述步骤S6中数据处理模块在接收到json数据后根据网页元素与数据库表对应关系及转换规则进行转换，然后数据入库。

8.根据权利要求1所述的装置，其特征在于，

网页数据回写包括以下步骤：

S1插件安装，间隔五秒发送心跳至任务管理模块；

S2插件轮询等待任务下发启动；

S3任务管理模块配置写任务，配置内容为web页面的url，同时配置回写任务表信息，表名以及配置回写上传模板，下发任务；

S4插件接收到写任务后，向数据处理模块发送restful请求，请求一条回写数据；

S5数据处理模块接收到插件的数据请求后，数据处理模块根据任务配置的表名去数据库查询待处理数据，根据网页元素与数据库表对应关系及转换规则进行转换，然后返回给浏览器插件；

S6浏览器插件根据上传模板将数据回写到网页，模拟点击提交操作将数据提交，然后将提交成功结果返回至数据处理模块；

S7数据处理模块接收到成功消息后更新此条数据为已处理完成，查询待处理数据，如果待处理数据不为空下发给插件继续S3和S4的步骤直至待处理数据全部回写完成；

S8待处理数据全部回写完成后通知任务管理模块此次任务完成。

9.根据权利要求8所述的装置，其特征在于，

所述步骤S5中数据处理模块接收到插件的数据请求后，数据处理模块根据任务配置的表名去数据库查询待处理数据，根据网页元素与数据库表对应关系及转换规则进行转换，然后返回给浏览器插件。