[发明专利]一种句子相似度的计算方法及基于该方法的舆情监督方法

说明书

本发明公开了一种句子相似度的计算方法及基于该方法的舆情监督方法，该方法包括：从互联网获取舆情事件语料，进行内容清洗后，将语料切分成短句；建立情绪语料库和情况语料库，将描述性短句放入情况库，表达情绪的短句放入情绪库，并根据情绪激烈程度对短句标注权重；将待识别长句切分成待识别短句，分别利用改进的句子相似度计算方法，计算其与情况库和情绪库中语料的相似度，确定长句情绪值；依照上述步骤依次对某一目标长句群进行识别，得到舆情事件所描述的诱因和情绪值分布。本发明的积极效果是：能够对细分领域舆情实现比较高的识别准确率，解决了相关技术中识别领域过于粗糙的问题。

技术领域

本发明涉及一种文字处理方法，具体涉及一种句子相似度的计算方法及基于该方法的舆情监督方法。

背景技术

随着经济全球化及国际互联网的飞速发展，自然语言的翻译在促进政治、经济、文化交流等方面起到越来越重要的作用。过去在国际交流领域，人们需要对语言文字进行翻译时，需要采用人工翻译，耗时耗力，而随着计算机软硬件技术的高速发展，计算机翻译及计算机辅助翻译得到了越来越广泛的应用。对比句子相似度是研究计算机翻译和计算机辅助翻译中的重要课题，传统的对比方法多采用单一层次上的对比，比如词汇的重叠率、语言模型重叠率、词汇向量化用余弦定理在语义空间计算距离比较等等，但是这种单一层次的句子相似度对比方法无法针对各种语言特点做出合适的对比，比如适用于英语的对比方法不适用于汉语对比。同时单一层次的句子相似度对比方法无法针对各种场合用语的特点做出合适的对比，比如适用于新闻英语的对比方法不适用于口语英语的对比。

国家专利局专利号为CN201110303522.5的发明专利公开了一种计算句子相似度的方法和装置以及机器翻译的方法和装置，该专利对句子相似度对比的方法采用了词汇差异的对比方法，这种方法适用于词汇差异明显的语言和场合，在对词汇差异不明显而句型差异明显的语言和场合，对比效果较差。

发明内容

本发明所要解决的技术问题是现有的句子相似度计算方法只是将句中的每个词的向量累加起来作为句向量，单个词的特征被减弱，目的在于提供一种句子相似度的计算方法及基于该方法的舆情监督方法，解决现有的句子相似度计算方法只是将句中的每个词的向量累加起来作为句向量，单个词的特征被减弱的问题。

本发明通过下述技术方案实现：

一种句子相似度的计算方法，包括需要进行相似度判断的句子a和句子b，还包括依次进行的以下步骤：

A、从互联网上收集到的语料库，利用Word2Vec算法进行训练，建立模型，将语料库中的所有单词映射到向量空间；

B、对句子a和句子b进行分词处理，得到句子a的TextRank词组a[a₁,a₂,...,a_m]和句子 b的TextRank词组b[b₁,b₂,...,b_n]；

C、将两个词组中的所有单词去重后建立一个词列表c[C₁,C₂,...,C_t]，以列表的长度t作为句子a和句子b对应的句向量的维数，结合词组a和词组b构建句向量a[v₁₁,v₁₂,...,v_1t]和句向量b[v₂₁,v₂₂,...,v_2t]；

D、根据句向量a[v₁₁,v₁₂,...,v_1t]和句向量b[v₂₁,v₂₂,...,v_2t]计算两个句子的相似度sim(a,b)。

进一步的，所述步骤B中对句子a和句子b进行分词处理的方法采用Jieba中文分词工具中的TextRank方法。