[发明专利]电子商务环境下基于云计算处理模式的个性化推荐方法

说明书

技术领域

本发明涉及计算机网络和数据挖掘领域，具体地说是面向电子商务环境实现一种基于云计算处理模式的个性化推荐方法，针对目前电子商务应用的海量数据特点和具体业务逻辑，利用Hadoop框架存储记录用户行为和产品信息，并在线使用Web日志动态记录用户当前行为配合离线推荐计算结果，从而提供快速高效的个性化推荐服务。

背景技术

电子商务通常是指是在全球各地广泛的商业贸易活动中，在因特网开放的网络环境下，基于浏览器/服务器应用方式，买卖双方不谋面地进行各种商贸活动，实现消费者的网上购物、商户之间的网上交易和在线电子支付以及各种商务活动、交易活动、金融活动和相关的综合服务活动的一种新型的商业运营模式。

由于电子商务面向的用户群庞大、产品数据量大且查询实时性要求较高，如何能够快速地了解用户需求成为电子商务发展亟待解决的问题，于是个性化推荐技术应运而生。个性化推荐是一种根据用户的主观兴趣和客观使用行为，主动向用户推荐其可能感兴趣的产品的信息过滤技术。个性化推荐技术作为一种重要的信息过滤手段，能够有效解决电子商务中存在的产品信息过载问题。

目前，个性化推荐技术已被广泛应用于各类电子商务应用，尽管取得了一定的研究成果，但其仍面临很多挑战，主要包括大数据处理，数据稀疏性以及冷启动问题。大数据处理问题是指目前用户数量、产品信息以及购买信息呈几何级增长，已达到TB甚至PB级。对如此巨大数据集进行个性化推荐分析，需要占用大量的计算与存储资源，倘若仍然采用集中式分析处理模式，则会导致推荐时间过长，无法满足实时性要求，极大地影响了用户的购物体验；数据稀疏性问题是指在大规模电子商务环境下，同时被多个用户评分的产品非常稀少，从而影响相似用户的挖掘精度；冷启动问题是指新用户由于没有购买记录很难计算邻居以及新产品由于评分较少很难获得推荐。针对上述问题，现有的协同过滤推荐方法已经难以适用于目前的电子商务应用，所以亟需一种全新的个性化推荐方法解决上述问题，实现快速、高效地推荐目标。

云计算是信息产业界提出的一种新型分布式计算模式，其在处理海量数据方面具有显著优势。随着近年来云计算的出现及发展，利用云计算环境实现面向电子商务的高效个性化推荐成为解决以上问题的有效途径。云计算的核心思想是将大量用网络连接的资源进行统一管理，通过虚拟化技术构建共享资源池，并以按需支付、弹性扩展的方式提供相应的资源，在提高服务质量的同时降低运维成本。云计算的分布式存储技术以及并行处理框架技术能够有效弥补现有推荐系统中存在的各种不足，从而极大地提高推荐系统的效率。

发明内容

技术问题：本发明实现了面向电子商务的高效的个性化推荐。一方面，发明基于云计算中的分布式存储技术，对用户行为和产品信息所构成的海量推荐数据集进行划分、放置、存储和查询，快速高效地处理数据。另一方面，发明利用Web日志动态记录用户当前行为，为能够实时性地反应用户的需求从而进行推荐提供了可靠的依据。

技术方案：本发明的一种电子商务环境下基于云计算处理模式的个性化推荐方法包括以下步骤：

步骤1)：对原始数据集进行预处理，通过多表连接查询整合用户与产品的相关信息，并将预处理结果存入HDFS(Hadoop分布式文件系统，Hadoop为一个分布式系统基础架构)；

步骤2)：在离线推荐过程中，针对电子商务交易流程的不同阶段，在不同的页面，根据MapReduce(Google提出的一种并行处理框架)编程模型实现适用于电子商务的各业务阶段的不同的并行化推荐方法，满足用户在各交易阶段对产品的不同需求，推荐方法计算所得结果存入HDFS；

步骤3)：设置数据采集算法定期读取HDFS中相应数据并存入轻量级数据库，结合登陆用户的行为日志实时产生推荐结果反馈给用户，同时提供推荐信息统计和图形化展示服务，让用户更易于了解推荐的产生过程。

所述的步骤1)中，所对原始数据集进行预处理的数据包括产品编号、产品卖家、产品关键字、产品买家、产品目录、产品商业流程、生产地区、产品热门度，这六个信息整合在一起，用于计算产品页面和搜索页面的推荐内容；用户编号、产品编号、访问时刻、询盘时刻，这四个信息整合在一起，用于计算用户页面和产品页面的推荐内容；用户编号，用户询盘产品集合，产品目录整合在一起，用户计算询盘页面的推荐内容；HDFS为Hadoop框架下的分布式文件系统，用于存储海量数据。