[发明专利]一种商品聚合并计算相似度的方法

权利要求书

1.一种商品聚合并计算相似度的方法，其特征在于，包括，

S1：离线收集多商城商品spu或者sku的商品标题信息；

S2：对所述商品标题信息进行规范化整理，利用自然语言处理中的word2vec技术离线得到所有数据中每个词语的词向量模型；

S3：利用得到的词向量模型，离线构建数据集中每个商品标题的文本向量，并将文本向量存储；

S4：存储商品的具体所属多级分类信息、所属品牌、所属商城的信息；

S5：在线得到商品标题信息，利用所述词向量模型在线构建商品标题文本向量；

S6：将库内的商品及文本向量根据条件进行筛选，与在线得到的商品文本向量计算相似度。

2.根据权利要求1所述的商品聚合并计算相似度的方法，其特征在于，所述将库内的商品及文本向量根据条件进行筛选中的所述条件为分类信息、所属品牌、所属商城的信息。

3.根据权利要求1所述的商品聚合并计算相似度的方法，其特征在于，所述规范化整理为，利用自然语言处理的分词技术，将标题的文本信息进行分词，得到一个词语一个词语的形式，然后进行停止词过滤，去除一些停止词，所述停止词即我们事先整理好的一些无特殊语意的词语和各种标点符号。

4.根据权利要求1所述的商品聚合并计算相似度的方法，其特征在于，所述离线构建的方式为，将标题中所有词对应的词向量进行累加，得到最终的文本向量。

5.根据权利要求1所述的商品聚合并计算相似度的方法，其特征在于，所述在线得到商品标题信息，先利用自然语言处理的分词技术，将标题的文本信息进行分词，得到一个词语一个词语的形式，接下来进行停止词过滤，去除一些停止词，将一个商品文本标题转化为词语列表的形式。

6.根据权利要求5所述的商品聚合并计算相似度的方法，其特征在于，所述在线构建的方式为，利用所述词向量模型，对列表里的词语查找对应的词向量并进行累加，得到最终的商品文本向量。

7.根据权利要求1所述的商品聚合并计算相似度的方法，其特征在于，所述计算相似度，计算两个商品的相似度，采用的方法是计算两个商品标题的文本向量的皮尔逊相关系数，值介于-1到1之间，计算结果越接近1表示两个变量之间的相关性越大，也即表示两个商品标题之间在语意上越相似；根据筛选条件对筛选出的商品依次求取皮尔逊相关系数，并对结果进行由大到小的排序，即可得到商品相似度由大到小的结果。