[发明专利]竞品数据抓取方法及系统

说明书

本发明公开了一种竞品数据抓取方法及系统，涉及计算机软件工程技术领域，旨在解决现有的竞品数据获取方法数据获取效率低下、数据获取不精确以及数据获取成本高的问题。其技术方案要点是，包括：步骤S1，录入需要抓取的竞品产品的信息；步骤S2，模拟竞品产品的下单流程；步骤S3，抓取竞品产品订单的相关爬取数据；步骤S4，对竞品产品订单的相关爬取数据进行批量抓取并新建一个订单列表；步骤S5，抓取订单列表中各个订单的订单状态信息；步骤S6，变更订单列表中各订单的相关信息；步骤S7，不断重复步骤S5和步骤S6，进行竞品产品数据的持续抓取。本申请的技术方案达到了数据获取效率高、数据获取精确性高以及数据获取成本低的效果。

技术领域

本发明涉及计算机软件工程技术领域，尤其是涉及一种竞品数据抓取方法及系统。

背景技术

目前，对于交通出行服务的出票性能层面，竞品测试涉及到的数据抓取及分析，大部分都需要依靠人工去使用竞品产品并记录相关的数据。通过人工的方式获取相关数据时，由于不能连续地对竞品数据进行抓取及记录，故而存在效率低下、数据获取不准确及人工成本高的问题。

基于以上数据获取中存在的问题，一些互联网企业也推出了各类的数据抓取方案，例如：

D1：百度在线网络技术(北京)有限公司在2015年1月19日申请的申请号为“201510025584”的中国专利，其公开了一种抓取网页数据的方法及系统，方法包括：生成数据模板；根据数据模板以及第一请求数据拼接出第二请求数据；根据第二请求数据执行网页数据的抓取；其中，生成数据模板包括：对待抓取的站点进行网页数据的抓取；截获抓取产生的传输数据；根据传输数据中的各请求数据生成请求数据模板，以及，根据传输数据中的各响应数据生成响应数据模板。

D2：北京北纬通信科技股份有限公司在2013年7月30日申请的申请号为“201310325804”的中国专利，其公开了一种业务数据抓取方法和系统，该方法为：配置抓取操作时所需要的规则数据；读取规则数据，根据该规则数据建立网页资源抓取任务，将抓取的网页资源按照配置规则分类进行存储；针对抓取到的网页资源建立数据解析任务，对抓取的网页资源通过解析HTML文档获取需要的资源URI，同时过滤数据不完整的资源；建立资源下载任务，对解析获取到的所述资源URI使用断点续传的方式下载，获得资源数据；根据采集到的资源数据的完整性进行存储或重新抓取，并在抓取操作无法正常结束时发送报告信息。

由上述文献可知，目前通过抓取网页资源来获取网页数据已具备较为完善的解决方案，但是，却没有针对交通出行服务的出票性能层面的数据抓取，或者模拟人工去使用竞品产品并记录相关数据的完善的解决方案。为此，本申请提出了一种新的方案。

发明内容

本发明的目的是提供一种竞品数据抓取方法及系统，其具有数据获取效率高、数据获取精确性高以及数据获取成本低的效果。

本发明的上述发明目的一是通过以下技术方案得以实现的：

一种竞品数据抓取方法，包括以下步骤：

步骤S1，录入需要抓取的竞品产品的信息；

步骤S2，通过自动化测试工具执行预设的抓取脚本，并在生成竞品产品订单后，模拟竞品产品的下单流程；

步骤S3，对竞品产品订单的相关爬取数据进行抓取，并将抓取的相关爬取数据存储至数据库中；

步骤S4，重复步骤S2和步骤S3，对竞品产品订单的相关爬取数据进行批量的抓取并在数据库中新建一个与该竞品产品相关联的订单列表；

步骤S5，抓取订单列表中各个订单的订单状态信息；

步骤S6，根据步骤S5中抓取的订单状态信息变更数据库中对应订单的相关信息；

步骤S7，不断重复步骤S5和步骤S6，进行竞品产品数据的持续抓取。