[发明专利]基于云计算的推荐系统构建方法

说明书

技术领域

本发明涉及一种系统构建方法，尤其涉及一种基于云计算的推荐系统构建方法，属于云计算及推荐系统构建领域。

背景技术

随着电子商务提供越来越多的选择的同时，其结构也变得越来越复杂，用户会迷失在大量的商品信息空间中，无法找到自己需要的商品。解决这个问题的一个方法是发展智能推荐系统，依据顾客的偏好或需求为其推荐商品，以帮助顾客完成购买过程。当前只有少数几个大型电子商务网站(如Amazon、eBay等)针对自己的业务开发了个性化推荐系统，大多数的中小型企业并没有那么多精力和资源去投入建设自己的推荐系统。

目前推荐系存在的问题是：1、不够灵活；2、没有充分考虑到商业策略；3、不能根据推荐需求的变化采用不同的推荐策略；4、难以处理大规模数据；5、推荐系统需进行定制开发，集成代价高，移植性差。这些问题限制了推荐系统在实际中的大规模应用。

基于云计算数据挖掘算法的并行性存在一些挑战。用什么样的算法来处理目前的数据挖掘，这是一个首要的问题，并不是所有算法都能够用云计算的方式完成目前的任务。

发明内容

本发明针对现有推荐系统存在的缺陷，而提出一种基于云计算的推荐系统构建方法。

该方法包括如下内容：

(1)构建分布式文件系统层：

构建多个节点的Hadoop云平台，在多个节点中一个为主节点，其余为从节点；

(2)构建分布式计算层：

采用MapReduce作为分布式并行计算模型，在Hadoop上构建Mahout中间件；

(3)定制数据分析中间件层：

根据业务需求定制Mahout算法库，在Mahout中间件上实现传统推进算法、伪分布式推进算法和分布式算法；

(4)构建推荐应用层：

根据用户不同需求，设置Mahout算法库中算法的相关参数大小或调用不同算法，构建应用框架；

根据用户不同需求，在应用框架中调用Mahout算法库中的不同算法、设置相关参数大小。

技术效果：

本发明提出了一个通用的、扩展性强的推荐系统构建方案，该方案将基于项目的串行推荐算法与MapReduce结合实现并行算法，灵活制定了相应的推荐策略，可有效提高数据处理效率，能完成单机下无法处理的大量数据，并能快速将推荐结果反馈给用户。

附图说明

图1为推荐系统层次结构图。

图2为推荐系统架构图。

具体实施方式

下面对本发明作进一步说明。

基于云计算的电子商务个性化推荐系统包括分布式文件系统层、分布式计算层、数据分析中间件层和推荐应用层，其中分布式文件系统层和分布式计算层是利用Hadoop构建的，而数据分析中间件层是根据业务应用在Mahout的基础上定制，并且以服务方式供用户访问。系统的每一层都有相应的云计算管理模块，包括数据安全、资源监控、资源动态调度、资源动态部署、资源规划和虚拟化等功能，保证每一层都具有高可靠性和可伸缩性。

本发明方法主要包括如下内容：

(1)构建分布式文件系统层：

构建多个节点的Hadoop云平台，其中一个为主节点，其余为从节点。该平台可以提供分布式文件存储和分布式编程框架MapReduce。

(2)构建分布式计算层：

在Hadoop上构建Mahout中间件。构建该中间件可以很方便地在该中间件上编写分布式算法，以供Hadoop执行。

(3)定制数据分析中间件层：

在Mahout上实现传统推进算法、伪分布式推进算法和分布式算法。这些算法是与分布式编程框架MapReduce结合编写的，以便分布执行。

(4)构建推荐应用层：

构建应用框架，推荐应用层根据用户不同需求调用我们定义的算法，即根据不同需求设置算法中的关键参数大小或调用不同算法。用户输入的数据存储在分布式文件系统上，推荐应用执行于Hadoop上，执行完结果反馈给用户。

下面对四个系统层进行补充说明。

1)分布式文件系统层

本发明提出利用Hadoop HDFS(Hadoop的分布式文件系统)实现高可靠的分布式数据文件存储功能，将海量数据分布存储在多台计算机集群上，把文件进行分块存储，为实现容错自动进行分块复制。

2)分布式计算层

本发明采用MapReduce(并行计算模型)作为分布式并行计算模型，将大型任务分成很多细粒度的子任务，这些子任务分布式且并行地在多个计算节点上进行调度和计算，从而在云平台上获得对海量数据的处理能力。