[发明专利]一种新型智能推荐资源的系统

说明书

技术领域

本发明涉及一种系统，具体涉及一种新型智能推荐资源的系统。

背景技术

借助于互联网技术，大数据应用在各个方面持续深化，尤其是在人们的生活领域内，给人们的生活带来了很多的便利。比如说推荐类的新闻客户端，类似于今日头条、网易新闻、凤凰新闻等，有效地聚集了高质量的新闻，针对用户的点击、阅读行为展开新闻推荐。新闻的内容涉及娱乐、体育、军事、科技、财经等，由此可见，它们更加集中于人们的生活领域。

然而，面对着各种巨大工作压力，在人们的工作领域，同样，甚至更加需要这样一种资讯推荐来不断提升用户的工作能力，开阔工作视野。目前，还没有发现市场上有这样一款集聚资源、面向工作的推荐应用。

当前，人们在工作过程中遇到问题，通常是有两种方式解决：

1.搜索引擎的出现，类似百度，可以给人们的工作带来很大的帮助，但是，同时需要人们从大量充斥着各种资源的互联网中去寻找可能有用的信息。大量无效信息(广告)以及重复信息的筛选，将消耗用户大量时间和精力。

2.在移动互联时代，人们的生活极度的碎片化，上班路上、休息间隙等等，手机都成了人们严重依赖的工具。如何能够帮助人们利用这些碎片化时间提升自己的个人能力，有些应用(比如微信公众号、专业网站的移动客户端)其实在一定程度上做到了这一点，但是它的问题在于内容过于分散，资源不够集中，同时也不能够满足针对用户个人情况的个性化服务。

因此，如果能有一种应用，能够汇聚集中互联网上的各种优质资源，根据用户的个人岗位和用户使用行为，针对用户自身需求进行个性化推荐服务，将极大地提升用户的工作能力和个人素质。

发明内容

本发明所要解决的技术问题是现有的网络资讯总量繁多且杂乱，在现在快节奏的生活中大量无效的信息及广告极大地降低了人们的效率，不便于人们快速搜索，目的在于提供一种新型智能推荐资源的系统，解决现有的资讯不集中、内容分散，不能针对人们的个人情况快速筛选出优质有效的资源的问题。

本发明通过下述技术方案实现：

一种新型智能推荐资源的系统，包括网络资源收集模块，所述网络资源收集模块包括爬虫分配装置和爬虫执行单元，所述网络资源收集模块连接有爬虫依赖模块和网页分解模块，网页分解模块连接有工作数据库，工作收集库连接有临时增量数据库，临时增量数据库连接有更新增量数据库，更新增量数据库连接有筛选模块，筛选模块连接有本地文件子系统和交互模块，所述本地文件子系统与工作数据库连接；

所述爬虫依赖模块用于配置网络资源收集模块与目标网络资源之间的依赖关系；网络资源收集模块能够通过爬虫依赖模块建立的依赖关系，通过爬虫分配装置配置相应爬虫执行单元执行资源收集；

所述网页分解模块用于网页的分解、去除广告信息、去除噪声；

所述工作数据库用于和当前用户兴趣内容做相似度比较，根据相似度排序为用户推送内容；

所述更新增量数据库用于存储一个时间周期内网站更新的内容；

所述临时增量数据库用于存储接着上次爬取断点爬取到的内容；

所述交互模块用于分析用户的兴趣爱好，常输入关键字；

所述筛选模块用于筛选用户在更新增量数据库中交互模块中得到关键字；

所述本地文件子系统用于存储通过筛选模块中的网页数据。

所述的一种新型智能推荐资源的系统，本地文件子系统连接一个分布式文件子系统，所述分布式文件子系统，用于同步所述本地文件子系统中的网页数据。

所述的一种新型智能推荐资源的系统，爬虫分配装置包括初始单元、网页下载模块、关闭单元，所述初始单元用于为网络资源收集准备必要的存储空间及系统开销；所述网页下载模块用于根据目标网络资源的数据类型选择不同爬虫程序收集目标网络资源的数据；所述关闭单元用于在收集装置收集到所需要的目标数据后释放系统开销以及在收集装置出现异常时进行异常处理。

所述的一种新型智能推荐资源的系统，本地文件子系统包括URL过滤器，所述URL过滤器用于对收集的网页数据进行重排。

所述的一种新型智能推荐资源的系统，URL过滤器为基于二进制数组bitSet的过滤器。

爬虫系统主要完成网络优质资源的获取积累，并对爬下来的数据做处理和初步分析，其工作步骤如下：