[发明专利]一种根据海量数据进行应用相似度判断的方法及系统

说明书

技术领域

本发明涉及海量数据分析领域，具体地说涉及一种根据海量数据进行应用相似度判断的方法及系统。

背景技术

随着技术的发展以及更好地提高用户体验的需求，在用户选择某一应用，视频或者书籍等各种内容时，大部分系统都会为用户推荐与用户所选内容相关的内容供用户参考或者选择。这种相关内容的推荐源于推荐系统对海量数据的处理，在经过对海量用户数据进行分析计算之后，才可以为用户推荐更适合、匹配度更好的内容。

在目前推荐系统中，通常使用协同过滤计算产生推荐结果。在这种方法中，需要计算用户-项目（应用）评价矩阵及其转置矩阵的乘法。现有技术中，采用多线程方法计算矩阵乘法，尽管目前多核心计算机应用十分普遍，但多线程编程难以实现，并且容易出错。另外，虽然多线程的计算能力比单线程强，但是仍受限于单机核心数量，因此扩展性很差，无法获得强大的计算性能和扩展能力。

因此，随着用户数据的不断积累，单机计算海量数据组成的矩阵乘法将变得非常困难，采用分布式计算的方式分析处理用户数据势在必行。

发明内容

本发明提供一种根据海量数据进行应用相似度判断的方法，用于根据海量的用户数据，高效、实时、准确地获取各种应用之间的相似度。

根据本发明的一个方面，提供一种根据海量数据进行应用相似度判断的方法，其中，包括以下步骤：

a）获取至少两个用户对至少两个应用的评分；

b）根据所述评分生成评分矩阵；

c）根据Map-Reduce模型计算所述矩阵中任意两个应用的相似度。

根据本发明的另一个方面，提供一种根据海量数据进行应用相似度判断的系统，其中，包括：

获取装置，用于获取至少两个用户对至少两个应用的评分；

生成装置，用于根据所述评分生成评分矩阵；

计算装置，用于根据Map-Reduce模型计算所述矩阵中任意两个应用的相似度。

本发明提供的根据海量数据进行应用相似度判断的方法及系统。在协同计算中，协同过滤的关键在于评价矩阵及其转置矩阵的相乘结果。本发明的方法利用Map-Reduce的计算思想，将矩阵乘法的各个元素乘积与加和分别在Map和Reduce两步实现，再输出最终结果。MapReduce是一种编程模型。在这种编程模型下，用户通过定义一个map函数和一个reduce函数来解决问题。map函数对用户输入的键/值对（key/value pair）进行处理（处理时可能只有值这一项有用），生成一系列新的键/值对作为中间结果；系统（MapReduce的实现）对map函数生成的键/值对进行处理，将同属于一个键（key）的值（value）组合在一起，生成键/值列表（（key/list of values）pair）对；reduce函数将键/值列表对作为输入，对同属于一个键的值列表进行处理，生成最终处理结果输出。如果一个问题可以通过MapReduce编程模型来表达和解决，就可以通过MapReduce系统自动获得并行执行能力。程序员不需要有并行程序设计的经验，只需要定义map和reduce函数。由于Map-Reduce的实现一般都是海量分布式计算平台（如Hadoop），因此本方法对海量用户数据的协同过滤计算十分有效，可以充分解决单机计算性能不足、存储空间有限的问题，为协同过滤的推荐系统在海量数据集上的应用提供了可能。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为根据本发明的一种根据海量数据进行应用相似度判断的方法的一种具体实施方式的流程示意图；

图2为根据本发明的一种根据海量数据进行应用相似度判断的系统的一种具体实施方式的结构示意图；

图3为根据本发明的一种根据海量数据进行应用相似度判断的系统的另一种具体实施方式的结构示意图；

图4为根据本发明的一种根据海量数据进行应用相似度判断的系统的又一种具体实施方式的结构示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施例作详细描述。