[发明专利]弹幕相似度计算方法、存储介质、设备及系统

说明书

本发明公开了一种弹幕相似度计算方法、存储介质、设备及系统，涉及大数据处理领域，该方法包括：对弹幕A和弹幕B的文本进行分词，并将分词后得到的每个词项通过word2vec进行向量化表示；基于向量化表示的词项，计算弹幕A的每个词项与弹幕B的匹配度，以及计算弹幕B的每个词项与弹幕A的匹配度；基于向量化表示的词项，计算弹幕A的每个词项与弹幕B的共现度，以及计算弹幕B的每个词项与弹幕A的共现度；计算得到的所有匹配度之和除以所有共现度之和，得到弹幕A和弹幕B的相似度。本发明能够实现对弹幕间相似度的精确计算。

技术领域

本发明涉及大数据处理领域，具体涉及一种弹幕相似度计算方法、存储介质、设备及系统。

背景技术

随着移动互联网的飞速发展，直播行业也呈现出蓬勃发展之势，越来越多的年轻人喜欢通过观看直播的方式来打发业余时间。

用户在观看直播的过程中，会通过发送弹幕文本的方式与主播或其它用户进行互动，但是在某些热门主播的直播间，由于该直播间用户数量较多，导致该直播间的弹幕量非常巨大，若对于用户发送的每一条弹幕均进行展示，便会导致弹幕铺满整个直播画面，为保证用户的观看体验，直播平台会对弹幕文本间的相似度进行计算，若2条弹幕相识度较高，则仅展示2条弹幕中的1条弹幕，现有技术中对于弹幕相似度的计算有余弦相似度、TF-IDF(term frequency–inverse document frequency，词频-逆文本频率指数)算法等，但这些方法没有考虑词项本身的重要性以及语义层面的相似度对比，遇到同义词和近义词时，相似度计算结果不是很准确。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种弹幕相似度计算方法、存储介质、设备及系统，能够实现对弹幕间相似度的精确计算。

本发明第一方面提供一种弹幕相似度计算方法，包括以下步骤：

对弹幕A和弹幕B的文本进行分词，并将分词后得到的每个词项通过word2vec进行向量化表示；

基于向量化表示的词项，计算弹幕A的每个词项与弹幕B的匹配度，以及计算弹幕B的每个词项与弹幕A的匹配度；

基于向量化表示的词项，计算弹幕A的每个词项与弹幕B的共现度，以及计算弹幕B的每个词项与弹幕A的共现度；

计算得到的所有匹配度之和除以所有共现度之和，得到弹幕A和弹幕B的相似度。

结合第一方面，在第一种可能的实现方式中，所述计算弹幕A的每个词项与弹幕B的匹配度，计算公式为：

其中，Sim_max(word_Ai,B)表示弹幕A中第i个词项与弹幕B的匹配度，表示弹幕A中第i个词项的向量，表示弹幕B中第j个词项的向量，word_Bj表示弹幕B中第j个词项，B表示弹幕B的所有词项，表示计算和的余弦相似度。

结合第一方面第一种可能的实现方式，在第二种可能的实现方式中，所述计算弹幕B的每个词项与弹幕A的匹配度，计算公式为：

其中，Sim_max(word_Bi,A)表示弹幕B中第i个词项与弹幕A的匹配度，表示弹幕B中第i个词项的向量，表示弹幕A中第j个词项的向量，word_Aj表示弹幕A中第j个词项，A表示弹幕A的所有词项，表示计算和的余弦相似度。

结合第一方面第二种可能的实现方式，在第三种可能的实现方式中，所述弹幕A的每个词项与弹幕B的共现度，计算公式为：

其中，sim_all(word_Ai,B)表示弹幕A中第i个词项与弹幕B的共现度。