[发明专利]基于数据处理的商品推荐方法、装置、设备和存储介质

说明书

本发明实施例公开了一种基于数据处理的商品推荐方法、装置、设备和存储介质。其中，方法包括：采集多条用户商品数据对，作为实验数据集；基于蝙蝠算法和实验数据集进行模型训练，获得优化的ALS推荐模型；通过优化的ALS推荐模型向目标用户推荐商品。本发明技术方案采用的蝙蝠算法具备优秀的参数搜索能力，能有效优化ALS推荐模型，提高其参数寻优的效率，降低参数寻优的时间复杂度，并提升了使用ALS推荐模型进行商品推荐的推荐效果。

技术领域

本发明实施例涉及大数据分析技术领域，尤其涉及一种基于数据处理的商品推荐方法、装置、设备和存储介质。

背景技术

商品推荐是电子商务领域的一个重要应用，其中，基于商品的协同过滤算法是目前应用最多的算法之一。这种方法通常根据现有用户对商品的偏好或者是评级情况，来计算商品之间的某种相似度，对于用户评级相同或相近的那些商品会被认为更加相似。一旦有了商品之间的相似度，便可以使用用户接触过的商品信息来表示这个用户，然后找出和这些已知商品相似的目标商品，并将这些目标商品推荐给用户。

Spark推荐模型库实现了一种基于ALS(Alternating Least Square，最小二乘发法)矩阵分解的协同过滤算法，用该算法进行商品推荐的步骤如下：

步骤1、将用户商品偏好数据转化成以用户为行、商品为列的二维矩阵。矩阵的每一个数据表示某个用户对特定商品的偏好，一般单个用户会和少数商品接触，因此该矩阵中只有少数非零数据，很稀疏，比如以下用户商品偏好数据：

它们可以转化为如下表1所示的二维矩阵：

表1

步骤2、采用ALS矩阵分解的方式对上述二维矩阵建模。具体就是找出两个低维度的矩阵，使得它们的乘积是上述二维矩阵。假设用户数量和商品数目分别是U和I，那么对应的“用户-商品”二维矩阵的大小为U×I，类似图1所示。

为找到和“用户-商品”二维矩阵相近的k维(低阶)矩阵，最终要求得如下两个矩阵：一个用于表示用户的U×k维矩阵，以及一个用于表示物品的I×k维矩阵。这两个矩阵也称作因子矩阵，它们的乘积便是上述二维矩阵的一个近似。其中，两个因子矩阵类似图2所示，图2中左侧为用户因子矩阵，右侧为商品因子矩阵。

步骤3、预测给定用户对某个商品的评级结果。由于是对“用户-商品”二维矩阵直接建模，计算评级时只需从用户因子矩阵和物品因子矩阵分别选取相应的行和列，然后计算两者的点积即可，具体如图3所示。

计算出的点积即代表预测的评级结果，根据评级的排序结果向用户推荐相应的商品。

其中，ALS矩阵分解的实现原理是迭代式求解一系列最小二乘回归的问题，在每一次迭代时，固定用户因子矩阵或是物品因子矩阵中的一个，然后用固定的这个矩阵以及评级数据来更新另一个矩阵，之后再将被更新的矩阵固定住，更新另外一个矩阵，如此迭代，直到ALS推荐模型收敛(或者迭代到了预设好的次数)。

Spark机器学习库提供的基于矩阵分解的ALS推荐模型表现十分出色，被广泛应用于商品推荐生产实践中。但是，由于ALS推荐模型存在以下缺陷，给模型的使用者设置了较高的技术门槛，缺陷如下：

1、ALS推荐模型在实际的使用过程中需要用户手动设置或调整模型的一些关键参数，例如因子个数rank、迭代次数iteration和正则化过程控制参数lambda等，这使得ALS推荐模型缺乏自适应能力。

2、业界常用的机器学习库往往只集成比较传统的参数寻优方式，比如网格搜索，这类寻优方式主要依据经验给定参数或穷举搜索空间确定参数，这不但没有提高模型的易用性反而增加了模型的时间复杂度，尤其不能使用在Spark这种处理大量数据的平台。

发明内容