[发明专利]竞品数据抓取方法及系统在审
| 申请号: | 201811133494.5 | 申请日: | 2018-09-27 |
| 公开(公告)号: | CN109408695A | 公开(公告)日: | 2019-03-01 |
| 发明(设计)人: | 周浪;吴文言;管理 | 申请(专利权)人: | 苏州创旅天下信息技术有限公司 |
| 主分类号: | G06F16/951 | 分类号: | G06F16/951;G06Q20/10;G06Q30/06 |
| 代理公司: | 暂无信息 | 代理人: | 暂无信息 |
| 地址: | 215000 江苏省苏州市工业*** | 国省代码: | 江苏;32 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数据获取 抓取 数据抓取 计算机软件工程 订单状态信息 技术方案要点 产品数据 相关信息 录入 变更 重复 申请 | ||
1.一种竞品数据抓取方法,其特征在于,包括以下步骤:
步骤S1,录入需要抓取的竞品产品的信息;
步骤S2,通过自动化测试工具执行预设的抓取脚本,并在生成竞品产品订单后,模拟竞品产品的下单流程;
步骤S3,对竞品产品订单的相关爬取数据进行抓取,并将抓取的相关爬取数据存储至数据库中;
步骤S4,重复步骤S2和步骤S3,对竞品产品订单的相关爬取数据进行批量的抓取并在数据库中新建一个与该竞品产品相关联的订单列表;
步骤S5,抓取订单列表中各个订单的订单状态信息;
步骤S6,根据步骤S5中抓取的订单状态信息变更数据库中对应订单的相关信息;
步骤S7,不断重复步骤S5和步骤S6,进行竞品产品数据的持续抓取。
2.根据权利要求1所述的竞品数据抓取方法,其特征在于,所述步骤S1包括以下子步骤:
步骤S101,录入需要抓取的竞品产品的信息;
步骤S102,按照竞品产品的类型对竞品产品进行分类;
步骤S103,根据竞品产品的类型跳转至指定的竞品首页。
3.根据权利要求2所述的竞品数据抓取方法,其特征在于:所述竞品产品的类型包括网页端竞品和APP端竞品。
4.根据权利要求1所述的竞品数据抓取方法,其特征在于,所述步骤S2包括以下子步骤:
步骤S201,通过自动化测试工具解析并执行预设的抓取脚本;
步骤S202,按照抓取脚本预设的登录帐号信息及密码信息,登录竞品帐号;
步骤S203,生成竞品产品订单并模拟竞品产品的下单流程,通过抓取脚本自动将相关信息填入该订单后,提交该订单;
步骤S204,唤起竞品产品可选择的支付方式并选择预设的支付方式支付相关订单。
5.根据权利要求1所述的竞品数据抓取方法,其特征在于,所述步骤S5包括以下子步骤:
步骤S501,监控订单列表中各个订单的订单状态;
步骤S502,抓取订单列表中各个订单的订单状态信息;
步骤S503,判断订单列表中各个订单的订单状态信息是否有变更,若是则跳转至步骤S6,若否则返回步骤S501。
6.根据权利要求1所述的竞品数据抓取方法,其特征在于,所述步骤S6具体包括:根据步骤S5中抓取的订单状态信息变更数据库中对应订单的状态信息、操作时间信息以及处理时间信息。
7.根据权利要求6所述的竞品数据抓取方法,其特征在于,所述步骤S7包括以下子步骤:
步骤701,不断重复步骤S5和步骤S6,进行竞品产品数据的持续抓取;
步骤702,达到设定时间后,停止抓取竞品产品数据;
步骤703,将数据库中的订单列表信息导出并进行结果展示。
8.一种竞品数据抓取系统,其特征在于,包括:
系统后台(11),用于供用户录入需要抓取的竞品产品的信息;
测试服务器(12),用于生成竞品产品订单并模拟竞品产品的下单流程,还用于对所述竞品产品订单的相关爬取数据进行抓取;
数据库(13),用于存储抓取的所述竞品产品订单的相关爬取数据并新建一个与所述竞品产品相关联的订单列表;
其中,所述测试服务器(12)还用于抓取订单列表中各个订单的订单状态信息并根据抓取的订单状态信息变更数据库(13)中对应订单的相关信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州创旅天下信息技术有限公司,未经苏州创旅天下信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811133494.5/1.html,转载请声明来源钻瓜专利网。





