[发明专利]用于获取网站资源的数据处理系统、方法及装置

权利要求书

1.一种用于获取网站资源的数据处理系统，其特征在于，包括：

数据筛选装置，用于接收由网络爬虫抓取的网页数据，并在接收过程中对接收到的网页数据进行筛选处理，将筛选出的与指定网站相关的网页数据发送至网页解析服务器；

网页解析服务器，用于根据预设的解析策略对与所述指定网站相关的网页数据进行解析处理，得到与所述指定网站相关的第一结构化数据，并将所述第一结构化数据保存至数据库；

所述数据库，用于根据在预定时间段内接收到的所述第一结构化数据进行数据融合处理，得到用于描述所述指定网站的资源的第二结构化数据；

所述网页解析服务器还用于，将在所述解析处理中解析出的图片链接发送至图片处理子系统；

所述图片处理子系统，用于根据所述图片链接抓取原始图片并根据图片处理策略对所述原始图片进行处理得到新图片，保存所述新图片并为所述新图片生成图片链接，以及将包含所述原始图片的图片链接和所述新图片的图片链接的图片信息发送至所述数据库。

2.如权利要求1所述的数据处理系统，其特征在于，

所述数据筛选装置具体用于，在接收网页数据的过程中，根据所述指定网站的统一资源定位符URL正则表达式对接收到的网页数据进行筛选处理。

3.如权利要求1所述的数据处理系统，其特征在于，当所述指定网站为视频网站时，所述网页解析服务器具体用于：

在所述网页解析服务器接收到的网页数据为与所述指定网站的视频播放页相关的网页数据时，根据第一解析策略进行解析处理；

在所述网页解析服务器接收到的网页数据为与所述指定网站的视频列表页相关的网页数据时，根据与所述第一解析策略不同的第二解析策略进行解析处理。

4.如权利要求1所述的数据处理系统，其特征在于，所述图片处理子系统包括图片抓取服务器、图片处理服务器和图片数据库，其中，

所述图片抓取服务器，用于根据所述图片链接抓取所述原始图片，并将所述原始图片及其图片链接发送至所述图片处理服务器；

所述图片处理服务器，用于根据图片处理策略对所述原始图片进行处理得到所述新图片，并将所述原始图片的图片链接和所述新图片保存至所述图片数据库；

所述图片数据库，用于为所述新图片生成图片链接，并将所述图片信息发送至所述数据库。

5.如权利要求1所述的数据处理系统，其特征在于，

所示数据库还用于，根据所述第二结构化数据和所述图片信息进行数据融合处理。

6.一种用于获取网站资源的数据处理方法，其特征在于，包括：

接收由网络爬虫抓取的网页数据，并在接收过程中对接收到的网页数据进行筛选处理，得到与指定网站相关的网页数据；

根据预设的解析策略对与所述指定网站相关的网页数据进行解析处理，得到与所述指定网站相关的第一结构化数据；

根据在预定时间段内解析得到的所述第一结构化数据进行数据融合处理，得到用于描述所述指定网站的资源的第二结构化数据；

所述方法还包括：

将在所述解析处理过程中解析出的图片链接发送至图片处理子系统，所述图片处理子系统用于执行以下处理：根据所述图片链接抓取原始图片并根据图片处理策略对所述原始图片进行处理得到新图片，保存所述新图片并为所述新图片生成图片链接；

接收由所述图片处理子系统发送的图片信息，所述图片信息包括所述原始图片的图片链接和所述新图片的图片链接；

根据所述第二结构化数据和所述图片信息进行数据融合处理。

7.如权利要求6所述的数据处理方法，其特征在于，所述在接收过程中对接收到的网页数据进行筛选处理包括：

在接收网页数据的过程中，根据所述指定网站的URL正则表达式对接收到的网页数据进行筛选处理。