[发明专利]数据处理解析系统及方法有效
申请号: | 201510181314.0 | 申请日: | 2015-04-16 |
公开(公告)号: | CN104750862A | 公开(公告)日: | 2015-07-01 |
发明(设计)人: | 郑小龙;印巍;梅蓓;洪燕 | 申请(专利权)人: | 携程计算机技术(上海)有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;G06Q10/02 |
代理公司: | 上海弼兴律师事务所 31283 | 代理人: | 薛琦;王婧荷 |
地址: | 200335 上海市*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 解析 系统 方法 | ||
技术领域
本发明涉及一种数据处理解析系统及方法。
背景技术
现有技术中在修改订单时都需要手动操作,无论是修改订单的票台票点数据还是恢复订单的历史数据,均需要人工操作,导致操作步骤繁琐和频繁。
发明内容
本发明要解决的技术问题是为了克服现有技术中订单处理操作需要人工操作,导致操作步骤繁琐及频繁的缺陷,提供一种数据处理解析系统及方法。
本发明是通过下述技术方案来解决上述技术问题的:
本发明提供了一种数据处理解析方法,其特点在于,包括如下步骤:
第一线程修改与订单对应的原始URL(统一资源定位符),设置并生成新的URL格式,并从数据库抓取与新的URL格式对应的订单数据;
第二线程遍历订单数据,并查询出待修改的订单数据源;
第三线程对待修改的订单进行数据修改并保存。
较佳地,所述第一线程、所述第二线程及所述第三线程同时运行。
较佳地,所述第一线程修改原始URL的操作包括:在WebBrowser(网页浏览器)中提取Cookie(为了辨别用户身份、储存在用户本地终端上的数据),并去除所有的HTML(超文本标记语言)代码。
较佳地,第三线程的数据修改操作包括恢复历史订单数据及修改订单的票台和票点数据。
本发明的目的在于还提供了一种数据处理解析系统,其特点在于,包括第一线程、第二线程及第三线程;第一线程用于修改与订单对应的原始URL,设置并生成新的URL格式,并从数据库抓取与新的URL格式对应的订单数据;
第二线程用于遍历订单数据,并查询出待修改的订单数据源;
第三线程用于对待修改的订单进行数据修改并保存。
较佳地,所述第一线程、所述第二线程及所述第三线程同时运行。
较佳地,所述第一线程修改原始URL的操作包括:在WebBrowser中提取Cookie,并去除所有的HTML代码。
较佳地,第三线程的数据修改操作包括恢复历史订单数据及修改订单的票台和票点数据。
本发明的积极进步效果在于:本发明能够对订单数据进行自动处理和修改,包括自动恢复历史订单数据及自动修改订单票台票点数据,从而减少了订单修改的操作步骤,方便了用户操作。
附图说明
图1为本发明的一实施例的数据处理解析系统的结构示意图。
图2为本发明的一实施例的数据处理解析方法的流程图。
具体实施方式
下面通过实施例的方式进一步说明本发明,但并不因此将本发明限制在所述的实施例范围之中。
如图1所示,本发明的数据处理解析系统包括第一线程1、第二线程2及第三线程3,其中所述第一线程1用于修改与订单对应的原始URL,包括在WebBrowser中提取Cookie,及去除所有的HTML代码,所述第一线程1还设置并生成新的URL格式,并从数据库抓取与新的URL格式对应的订单数据。所述第二线程2则实现遍历订单数据,并查询出待修改的订单数据源;所述第三线程3则对待修改的订单进行数据修改并保存,其中第三线程3的数据修改操作包括恢复历史订单数据及修改订单的票台和票点数据。
在本发明中,所述第一线程1、所述第二线程2及所述第三线程3同时运行。
本发明需要用户运行所述数据处理解析系统,登录之后导入数据源、订单号,点击运行相应软件,在后台实现多线程自动抓包读取,其中会运用爬虫爬取网页的基本步骤,包括:
人工给定一个URL作为入口,并从该入口开始爬取;
用运行队列和完成队列来保存不同状态的链接;
每次抓取网页之后分析其中的URL(URL是字符串形式,功能类似指针),将经过过滤的合法链接写入运行队列。
本发明中利用多线程同时运行,提高了处理速度。通过开发后的所述数据处理解析系统,直接登录账户,批量导入需要提取数据的数据源,点击执行,实现自动抓取数据,遍历数据表,实现自动修改订单数据。经过测试得知,现有技术中利用人工操作对每一订单的处理操作平均耗时约60秒,而采用本发明的数据处理解析系统对每一订单的处理操作平均耗时则只有约3秒,从而大大提高了处理速度。
如图2所示,本发明利用本实施例的数据处理解析系统实现的数据处理解析方法包括以下步骤:
第一线程修改与订单对应的原始URL,设置并生成新的URL格式,并从数据库抓取与新的URL格式对应的订单数据;
第二线程遍历订单数据,并查询出待修改的订单数据源;
第三线程对待修改的订单进行数据修改并保存。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于携程计算机技术(上海)有限公司;,未经携程计算机技术(上海)有限公司;许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510181314.0/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种自动化测试方法及系统
- 下一篇:一种子串查找方法及装置