[发明专利]一种基于混合模型的个性化职位信息推荐系统及实现方法

权利要求书

1.一种基于混合模型的个性化职位信息推荐系统，其特征在于，包括表现层，推荐层，信息抽取层和信息采集层；所述信息采集层与所述信息抽取层之间、所述信息抽取层与所述推荐层之间、所述推荐层与所述表现层之间均通过共享数据实现衔接；

所述信息采集层负责从互联网招聘网站中抓取特征链接，编写网络爬虫程序，基于Nutch进行二次开发，通过修改Nutch中Crawl类代码，采用正则表达式对外链接进行过滤得到需要的特征链接，并将特征链接保存在本地的CrawlDb文件数据库中；

所述信息抽取层负责从特征页面中解析原始的职位信息，将底层获取的特征链接上传至HDFS文件系统；

所述推荐层负责整个职位推荐系统的推荐引擎算法，所述算法包括：基于内容的推荐算法、基于聚类分析的协同过滤算法，基于关联规则的推荐算法、基于归纳统计的辅助推荐算法；

所述表现层负责向用户提供交互界面，将推荐层计算出的推荐项目，通过网页的形式向求职者展现。

2.根据权利要求1所述的一种基于混合模型的个性化职位信息推荐系统，其特征在于，

所述基于混合模型的个性化职位信息推荐系统采用基于JSP+JavaBean+Servlet的方法构建，静态页面使用HTML展现，动态页面使用JSP展现。

3.根据权利要求1或2所述的一种基于混合模型的个性化职位信息推荐系统的实现方法，其特征在于，包括：信息采集层负责编写网络爬虫程序，从互联网的招聘网站中抓取特征链接，然后将特征链接作为信息抽取层的输入，信息采集层与信息抽取层通过共享爬虫抓取的特征链接数据进行沟通；信息抽取层采用基于Hadoop的并行抽取技术，从特征链接页面当中解析出职位信息数据，将职位信息按照指定格式保存在本地数据库；推荐层根据存储在数据库中的用户评分信息、用户点击行为信息和用户背景知识采用对应的推荐算法向表现层推送职位。

4.根据权利要求3所述的一种基于混合模型的个性化职位信息推荐系统的实现方法，其特征在于，所述信息采集层的实现步骤包括：

步骤1.1：分析主流招聘网站的当中职位详情页面的链接特征，构造相应的正则表达式；

步骤1.2：修改Nutch当中Crawl.java类的代码，重新编译Nutch，部署Nutch；

步骤1.3：执行Nutch脚本文件，进行抓取。

5.根据权利要求3所述的一种基于混合模型的个性化职位信息推荐系统的实现方法，其特征在于，所述信息抽取层的实现步骤包括：

步骤2.1：搭建Hadoop分布式平台，将爬虫模块产生的特征链接文本上传至HDFS当中；

步骤2.2：针对不同的职位详情页面的结构编写对应的MapReduce解析程序，获取职位详情的文本信息存储在HDFS当中；

步骤2.3：编写TF-IDF算法程序获取文本信息中的关键词作为职位信息的职位关键词。

6.根据权利要求3所述的一种基于混合模型的个性化职位信息推荐系统的实现方法，其特征在于，

所述推荐层中的基于内容的推荐算法的具体实现步骤包括：

步骤3.1：新用户根据引导页面定制偏好，包括专业背景、期望工资、期望工资地点、专业技能、备注信息，系统保存用户背景知识；

步骤3.2：利用Lucene分词和TF-IDF算法挖掘背景知识的关键词，按照用户id，关键词的形式存储；

步骤3.3：采用Dice系数度量用户背景知识内容和职位记录的相似度，保存相似度高的前几项作为新用户推荐项。

7.根据权利要求3所述的一种基于混合模型的个性化职位信息推荐系统的实现方法，其特征在于，

所述推荐层中的基于聚类分析的协同过滤算法的具体实现步骤包括：

步骤4.1：将评分数据表与职位记录表连接，构建用户-职位类别矩阵；

步骤4.2：利用Mahout提供的K-means聚类算法，将用户划分为k类；

步骤4.3：用预测评分填补用户-评分矩阵中的缺省值，降低矩阵稀疏度；

步骤4.4：基于修改过后的评分矩阵利用协同过滤算法计算推荐结果。