[发明专利]大数据产品开发筛选方法、装置及计算机可读存储介质

说明书

本发明公开了一种大数据产品开发筛选方法，包括：确认产品数据筛选的目标数据平台，抓取所述目标数据平台的类目数据；根据所述类目数据提取所述目标数据平台的产品信息存储至预设的数据库，所述产品信息包括产品概述数据、产品明细数据、产品销量明细数据、产品评论明细数据及产品上架时间明细数据；在提取到的所述产品信息中筛选符合用户数据需求的数据信息并推送至对应的ERP平台。本发明还公开了一种装置及计算机可读存储介质。本发明根据用户应用数据的需求在数据平台根据数据层级抓取产品信息，并基于抓取到的产品信息筛选符合条件的数据推送至ERP调用，实现了数据平台的产品数据筛选及筛选的技术问题。

技术领域

本发明涉及数据筛选技术领域，尤其涉及一种大数据产品开发筛选方法、装置及计算机可读存储介质。

背景技术

在当前海量SKU外贸电商产品开发的产品开发数据的抓取操作基本停留在手工查询各大销售平台产品或查询1688产品供应商平台，或是参加产品交流会了解行业产品热销动态，此种方法对行业产品动态了解不及时，开发产品效率低，收集的产品销量数据有限制，对热销或是新品判断不准确。另一种是通过软件爬取产品的总销大的产品作为热销品参考进行开发，此种情况只能发现销售大的产品，但无法识别最近热销，同时也无法与卖家系统识别是否存在此产品。基于现有产品数据筛选来源的两个途经，一是供应商的产品销售数据，二是外贸销售平台产品销售数据。而如何获取数据，海量数据如何获取，获取什么数据，如何筛选数据，是当前电商产品开发急需解决的技术问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种大数据产品开发筛选方法、装置及计算机可读存储介质，旨在解决现有电商产品开发过程中，由于数据来源过多造成数据筛选困难的技术问题。

为实现上述目的，本发明提供一种大数据产品开发筛选方法，所述大数据产品开发筛选方法包括以下内容：

确认产品数据筛选的目标数据平台，抓取所述目标数据平台的类目数据；

根据所述类目数据提取所述目标数据平台的产品信息存储至预设的数据库，所述产品信息包括产品概述数据、产品明细数据、产品销量明细数据、产品评论明细数据及产品上架时间明细数据；

在提取到的所述产品信息中筛选符合用户数据需求的数据信息并推送至对应的ERP平台。

可选地，所述确认产品数据筛选的目标数据平台，抓取所述目标数据平台的类目数据的步骤之前，还包括：

获取用户数据需求，根据所述用户数据需求确认目标数据平台；

创建与所述目标数据平台的数据连接关系。

可选地，所述创建与所述目标数据平台的数据连接关系的步骤，包括：

确认所述目标数据平台的数据应用接口；

创建与所述数据应用接口的数据连接关系。

可选地，所述确认产品数据筛选的目标数据平台，抓取所述目标数据平台的类目数据的步骤，包括：

确认所述目标数据平台的分类页面；

根据已确认的所述分类页面抓取所述类目数据。

可选地，所述根据所述类目数据提取所述目标数据平台的产品信息存储至预设的数据库的步骤之前，还包括：

根据所述类目数据确定所述目标数据平台的数据层级；

以所述数据层级新建预设的数据库。

可选地，所述根据所述类目数据提取所述目标数据平台的产品信息存储至预设的数据库的步骤，包括：