[发明专利]一种专利数据采集方法在审

专利信息
申请号: 201910402501.5 申请日: 2019-05-15
公开(公告)号: CN110134769A 公开(公告)日: 2019-08-16
发明(设计)人: 王霆健 申请(专利权)人: 山西恒冠国际科技服务有限公司
主分类号: G06F16/33 分类号: G06F16/33;G06Q50/18;H04L29/08
代理公司: 北京八月瓜知识产权代理有限公司 11543 代理人: 马东瑞
地址: 033000 山西*** 国省代码: 山西;14
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 专利数据采集 实际数据 数据抽取 数据获取 下载 预处理 数据采集过程 数据采集领域 数据预处理 远程服务器 获取数据 控制数据 配置管理 配置检索 数据保护 数据检索 数据文件 数据下载 分隔 采集 测试 保存 开发
【权利要求书】:

1.一种专利数据采集方法,其特征在于,包括以下步骤:

S1:配置管理与配置检索,在正式的数据获取流程开始之前,集中对整个数据获取流程中用到的实际数据和控制数据进行编辑和导入;

S2:数据下载,将实际的数据检索与下载流程与其他流程分隔开,集中的执行从远程服务器获取数据的过程;

S3:数据预处理与数据抽取,对于之前系统已经下载到本地的数据文件中保存的数据进行预处理和数据抽取的操作。

2.根据权利要求1所述的一种专利数据采集方法,其特征在于:所述S1中配置管理能够保存和配置各次检索之间通用的数据,包括检索页面地址、等待时间。

3.根据权利要求1所述的一种专利数据采集方法,其特征在于:所述S1中配置管理与配置检索采用对指定XML配置文件的读写实现。

4.根据权利要求1所述的一种专利数据采集方法,其特征在于:所述S1中配置管理能够避免对相同数据进行重复的配置和存储提高效率,同时避免再重复设置。

5.根据权利要求1所述的一种专利数据采集方法,其特征在于:所述S1中配置检索能够从结构上降低了实际数据获取部分的开发和测试的复杂性和难,同时将这些重要的基础性数据从繁复的获取流程中分离出来,达到数据保护的作用。

6.根据权利要求1所述的一种专利数据采集方法,其特征在于:所述S2中数据下载能避免重复获取资源而导致效率降低,同时最大程度上避免了由于网络连接资源异常而导致的数据获取中断、延迟、系统崩溃状况的发生。

7.根据权利要求1所述的一种专利数据采集方法,其特征在于:所述S3中数据抽取采用正则表达式实现。

8.根据权利要求1所述的一种专利数据采集系统,其特征在于:包括检索配置与管理模块、数据检索与下载模块、数据预处理与抽取模块、全局管理模块,其中检索配置与管理模块用于集中对整个数据获取流程中用到的实际数据和控制数据进行编辑和导入,数据检索与下载模块用于将实际的数据检索与下载流程和其他流程分隔开,集中的执行从远程服务器获取数据的过程,数据预处理与抽取模块用于实现对于已经下载到本地的数据文件进行数据抽取和重组工作,全局管理模块用于为了保存和配置各次检索之间通用的数据。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于山西恒冠国际科技服务有限公司,未经山西恒冠国际科技服务有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910402501.5/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top