[发明专利]用于获取网站资源的数据处理系统、方法及装置有效
| 申请号： | 201410521135.2 | 申请日： | 2014-09-30 |
| 公开（公告）号： | CN104281680B | 公开（公告）日： | 2018-08-21 |
| 发明（设计）人： | 鲁晓莹;李进;刘世戟;刘鸿宇 | 申请（专利权）人： | 百度在线网络技术（北京）有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30;H04L29/06 |
| 代理公司： | 广州三环专利商标代理有限公司 44202 | 代理人： | 温旭;郝传鑫 |
| 地址： | 100085 北京市*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种用于获取网站资源的数据处理系统、方法及装置，其中，所述系统包括：数据筛选装置，用于接收由网络爬虫抓取的网页数据，并在接收过程中对接收到的网页数据进行筛选处理，将筛选出的与指定网站相关的网页数据发送至网页解析服务器；网页解析服务器，用于根据预设的解析策略对与指定网站相关的网页数据进行解析处理得到第一结构化数据，并将第一结构化数据保存至数据库；数据库，用于根据在预定时间段内接收到的第一结构化数据进行数据融合处理，得到用于描述指定网站的资源的第二结构化数据。采用本发明，能缩短网站资源的更新周期，提高网站资源的时效性，针对视频网站，还能提高视频资源的出图率，提高用户体验。 | ||
| 搜索关键词： | 用于 获取 网站 资源 数据处理系统 方法 装置 | ||
【主权项】：
1.一种用于获取网站资源的数据处理系统，其特征在于，包括：数据筛选装置，用于接收由网络爬虫抓取的网页数据，并在接收过程中对接收到的网页数据进行筛选处理，将筛选出的与指定网站相关的网页数据发送至网页解析服务器；网页解析服务器，用于根据预设的解析策略对与所述指定网站相关的网页数据进行解析处理，得到与所述指定网站相关的第一结构化数据，并将所述第一结构化数据保存至数据库；所述数据库，用于根据在预定时间段内接收到的所述第一结构化数据进行数据融合处理，得到用于描述所述指定网站的资源的第二结构化数据；所述网页解析服务器还用于，将在所述解析处理中解析出的图片链接发送至图片处理子系统；所述图片处理子系统，用于根据所述图片链接抓取原始图片并根据图片处理策略对所述原始图片进行处理得到新图片，保存所述新图片并为所述新图片生成图片链接，以及将包含所述原始图片的图片链接和所述新图片的图片链接的图片信息发送至所述数据库。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于百度在线网络技术（北京）有限公司，未经百度在线网络技术（北京）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201410521135.2/，转载请声明来源钻瓜专利网。
