[发明专利]一种基于音乐多模态数据的用户长短期偏好推荐预测方法

说明书

本发明公开了一种基于音乐多模态数据的用户长短期偏好推荐预测方法，实现了针对音乐应用程序、商店和社区，为用户提供一种精准发现用户喜好的推荐预测方法，通过处理音乐的多模态数据，研究歌曲的隐含情感信息、用户的听歌序列对音乐推荐的不同影响，采用注意力机制和多个LSTM(长短期记忆)网络分别对歌曲情感和用户长短期偏好进行建模，最后提出一个新的混合推荐预测方法，在一定程度上探索到用户和歌曲的情感相关性及用户的长短期偏好，增强音乐了推荐预测性能。

技术领域

本发明涉及大数据分析方法相关领域，具体是一种基于音乐多模态数据的用户长短期偏好推荐预测方法。

背景技术

随着信息化的快速发展，互联网已成为检索多媒体信息的主要来源，音乐作为一种重要的交流和表达方式，已经被人们作为日常生活中的一种常见活动所消费，虽然人们可以访问大量的数字音乐，音乐平台中海量的音乐数据远远超出了用户的承受能力和选择能力，极容易引起用户的信息疲劳，普通音乐用户在茫茫乐库中查找适合自己的音乐是很耗费时间成本的，我国有巨大的网络音乐市场，音乐平台仅仅通过检索功能远远不能满足用户的需求，用户和音乐之间的不对称问题一直困扰着我们，虽然也可以通过查看好友歌单来获取音乐信息，但是这种方式很难满足用户的个性化需求，在音乐场景中，用户可能只有一个模糊的需求，通过这种需求在大量物品中进行选择可能性是极低的。

在音乐推荐领域，我们可以利用个性化推荐的方式来为用户在庞大的音乐数据库中选择出最符合用户口味的音乐，最常见的方法是协同过滤(CF)和基于内容的方法(CBM)，具体来说，CF通过类似用户的选择推荐物品，而CBM则利用声学信号和音轨元数据。除了音轨，用户特征及听歌序列在音乐推荐中也扮演着重要的角色，在长期和短期对其音乐偏好有很大的影响；另一方面，由于音乐是一种承载情感的内容类型，因此音乐的情感表达也会影响音乐偏好，一些研究也致力于以用户为中心或以音乐为中心的音乐推荐，虽然取得了一定的进展，但这些工作仅采用片面的信息进行片面的用户偏好建模，缺乏针对音乐推荐的系统分析，因此，在音乐推荐中考虑音乐情感和用户听歌序列因素，对用户长期和短期偏好进行建模也很有意义，现有基于用户长短期偏好的音乐推荐是采用一个双向LSTM(长短期记忆网络)对用户听歌序列进行解码，将解码结果输入到Softmax函数，生成推荐结果。

但现有的音乐推荐预测方法只针对声学特征情感分析、歌词情感分析、评论情感分析和听歌序列分析的一种或几种，没有同时融合多种情感分析和听歌序列分析进行深度推荐，单个分析的以及传统推荐方法的推荐性能往往较低，并不能很好地兼顾到音乐的情感性、用户听歌的时序性等等。

发明内容

本发明的目的在于提供一种基于音乐多模态数据的用户长短期偏好推荐预测方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于音乐多模态数据的用户长短期偏好推荐预测方法，包含以下步骤：

获取音乐的音频数据信号，并使用预设的逻辑回归分配器对所述音频数据信号进行处理，生成声学感情特征；

构建情感词汇库，并获取所述音乐的文本信息，根据所述情感词汇库对所述文本信息进行分析，以提取音乐情感特征，所述文本信息包括歌词文本信息以及评论文本信息，所述音乐情感特征包括歌词情感特征以及评论情感特征；

使用双层注意力网络分别对声学情感特征以及所述评论情感特征进行处理，得到双层注意力机制输出；

获取用户的历史听歌数据，并根据多个LSTM网络生成隐藏状态序列以及用户短期偏好；

对所述隐藏状态序列使用时间加权操作和平均池化及加权均值化操作，生成用户长期偏好；

利用Softmax函数融合所述双层注意力机制输出、用户长期偏好以及用户短期偏好，获得音乐的概率分布，并生成推荐。