[发明专利]商品自动化采集与迁移方法在审
| 申请号: | 201910051199.3 | 申请日: | 2019-01-18 |
| 公开(公告)号: | CN109711951A | 公开(公告)日: | 2019-05-03 |
| 发明(设计)人: | 文付军;郭建丰 | 申请(专利权)人: | 中合金网(北京)电子商务有限公司 |
| 主分类号: | G06Q30/06 | 分类号: | G06Q30/06 |
| 代理公司: | 北京细软智谷知识产权代理有限责任公司 11471 | 代理人: | 葛钟 |
| 地址: | 101149 北京市通*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数据包 预设 数据库 迁移 页面 源数据 采集 自动化 源数据存储 劳动效率 商品数据 数据迁移 异构系统 遍历 匹配 工作量 分析 开发 学习 | ||
1.商品自动化采集与迁移方法,其特征在于,包括如下步骤:
S1,设置商品页面URL规则以及URL中的变量;
S2,遍历符合S1中设置好的URL规则的所有变量的URL的商品源数据,并将商品源数据存储到数据库一中;
S3,对数据库一中的商品源数据进行分析学习,将分析结果以数据包的形式存入数据库二中;
S4,将数据库二中的数据包按照预设平台页面规则进行匹配,形成预设数据包;
S5,将S4中的预设数据包迁移到预设平台页面。
2.根据权利要求1所述的商品自动化采集与迁移方法,其特征在于,
S2中所述商品源数据包括文字及商品图片信息;所述数据库一是NOSQL-MongoDB数据库;所述数据库二是MySql和MongoDB。
3.根据权利要求2所述的商品自动化采集与迁移方法,其特征在于,
S2遍历过程中,遇到空的商品URL,自动抛弃并记录。
4.根据权利要求3所述的商品自动化采集与迁移方法,其特征在于,
S3中,分析学习的过程包括,对商品源数据进行学习,找到页面元素规律,分析得出的元素至少包括店铺、品牌、分类、标题、价格、主图和商品详情信息,将分析得出的所有元素形成数据包存储到数据库二中。
5.根据权利要求4所述的商品自动化采集与迁移方法,其特征在于,
S4中所述将数据库二中的数据包按照预设平台页面规则进行匹配,形成预设数据包的方法是,将数据库二中的所述店铺、品牌、分类、标题、价格、主图和商品详情信息元素分别与预设平台页面相应区块进行匹配,形成预设数据包。
6.根据权利要求5所述的商品自动化采集与迁移方法,其特征在于,
S5中所述将S4中的预设数据包迁移到预设平台页面之后,还包括在平台上发布的步骤S6:
迁移后为待发布状态,是否发布等待校核数据之后;如果数据校核成功,则在预设平台页面上发布;如果数据校核未成功,则暂缓发布。
7.根据权利要求6所述的商品自动化采集与迁移方法,其特征在于,
S6中需要校核的数据包括:店铺信息确认、商品分类确认以及品牌信息确认。
8.根据权利要求7所述的商品自动化采集与迁移方法,其特征在于,
所述店铺信息确认包括,检测预设平台页面中是否含有所述预设数据包中的店铺信息;如果预设平台页面中不存在该预设数据包中的店铺信息,则创建并初始化相关属性数据项,新创建的店铺信息默认为“待启用”状态,经管理审核后可批量启用;如果预设平台页面中存在该预设数据包中的店铺信息,则将该预设数据包中的店铺信息对应的批量商品匹配到预设平台页面中存在的店铺中。
9.根据权利要求7所述的商品自动化采集与迁移方法,其特征在于,
所述商品分类确认包括,检测预设平台页面中是否含有所述预设数据包中的商品分类信息;如果预设平台页面中不存在该预设数据包中的商品分类信息,则创建并初始化相关属性信息项,新创建的商品分类信息默认为“待启用”状态,经管理审核后可批量启用。
10.根据权利要求7所述的商品自动化采集与迁移方法,其特征在于,
所述品牌信息确认包括,检测预设平台页面中是否含有所述预设数据包中的品牌信息;如果预设平台页面中不存在该预设数据包中的品牌信息,则创建并初始化相关属性信息项,新创建的商品分类信息默认为“待启用”状态,经管理审核后可批量启用。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中合金网(北京)电子商务有限公司,未经中合金网(北京)电子商务有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910051199.3/1.html,转载请声明来源钻瓜专利网。





