[发明专利]一种基于网页数据采集的数据源分发管理系统

说明书

一种基于网页数据采集的数据源分发管理系统，包括以下步骤，通过网络，收集网页网址信息，并导入系统；系统对收集到的网页网址信息进行管理；系统将要分发的网址分配给用户账号；系统对采集的网址进行标记；系统通过标记对网址进行管理，通过把采集过程中对网站的分类、标注等内容统一管理，为后续项目提供方便，使数据产生更多剩余价值。降低管理成本，对任务分发，采集等工作统一管理，防止重复、错漏，提高效率。

技术领域

本发明涉及一种基于网页数据采集的数据源分发管理系统。

背景技术

数据是大数据产业的最重要的基础研究资源，其中网页数据是最为容易获取的一种数据。目前单境内新闻采集已超过12万家网站，网址的获取可以有多种途径，如此大的量级单靠一两个人是无法完成采集工作的。在团队共同配置采集规则时如何分发这些网址，采集规则配置完成后，如何管理成为了新的问题。

发明内容

针对以上不足，本发明提供一种基于网页数据采集的数据源分发管理系统，所需采用的技术方案是，

一种基于网页数据采集的数据源分发管理系统，包括以下步骤，

（1）通过网络，收集网页网址信息，并导入系统；

（2）系统对收集到的网页网址信息进行管理；

（3）系统将要分发的网址分配给用户账号；

（4）系统对采集的网址进行标记；

（5）系统通过标记对网址进行管理。

步骤（2）中网页网址信息包括网站名称、主域名、行业分类、媒体类型、国家、城市、语言。

所述网页网址的信息至少包括主域名。

步骤（2）的管理内容包括提取信息、去重和分类。

所述用户账号包括普通用户账号和管理员账号。

所述普通用户账号只能领域任务派发网站。

所述管理员账号能对网站进行筛选、导入批量维护等功能。

本发明的有益效果，通过把采集过程中对网站的分类、标注等内容统一管理，为后续项目提供方便，使数据产生更多剩余价值。降低管理成本，对任务分发，采集等工作统一管理，防止重复、错漏，提高效率。

附图说明

图1是本发明的数据源管理流程图。

图2是本发明的任务分发流程图。

具体实施方式

下面结合附图对本发明进行进一步的说明，

一种基于网页数据采集的数据源分发管理系统，包括以下步骤，

（1）通过网络，收集网页网址信息，并导入系统，由管理员将要采集的数据源信息导入至管理平台。

（2）系统对收集到的网页网址信息进行管理，对网页网址信息中的网站名称、主域名、行业分类、媒体类型、国家、城市、语言进行信息提取，去重和分类，其中网页网址的信息至少包括主域名。

（3）系统将要分发的网址分配给用户账号，所述用户账号包括普通用户账号和管理员账号，所述普通用户账号只能领域任务派发网站，所述管理员账号能对网站进行筛选、导入批量维护等功能，每人分批次分配一定数量网站源，采集数据。

（4）系统对采集的网址进行标记，采集完成后做相应标记;如不能采集，标记原因以方便后续管理。做完一批次后可再分发下一批次。各实施人员只能看到分配给自己的网站。

（5）系统通过标记对网址进行管理。

通过本发明能解决数据源除重问题，数据地域和语言信息自动获取，数据源分配问题，采集后数据源的管理问题。