[发明专利]基于主题相关性的推特摘要生成方法

权利要求书

1.基于主题相关性的推特摘要生成方法，其特征在于，包括以下步骤：

1)将原始数据进行预处理和数据清洗，获得推文集，提取推文的网络互动信息；

2)统计所述推文集中每个词集中出现的名词、动词、形容词词频，然后取词频排名在前1％的词作为候选主题词，过滤掉词频在其他主题中频率大于k的候选主题词作为最终的主题词集；

3)从上述主题中选出一个与源文本较为贴近的主题作为给定主题，根据主题词集计算推文到这个给定主题的相关性，推文到某个主题的相关性通过以下方法计算：

sim(a,b)＝(a·b^T)/(|a|·|b|)

s(w,t_i)＝sim(emb[t_i],emb[w])t_i∈T_words

F(w,T)＝max|s(w,t₁),s(w,t₂),...,s(w,t_n)|

其中sim函数用来计算两个词向量之间的余弦相似度，a，b分别表示两个词向量；sr为句子的长度正则项；L为当前句子中的名词动词形容词的集合，L_i指第i个句子，m表示推文集中的最大推文量；s(w,t_i)函数计算词w和词t_i的相似度；F(w,T)为词w到主题T的隶属度；T_words为某个主题的主题词集；emb为将词id转为词向量的词嵌入模型；SS_T为一个句子到主题T的相关性度量，σ为可调的超参数，n表示源文本中的推文数量，L[i]表示L中的第i个词；

4)根据网络互动信息计算公众认同度，所述公众认同度按照以下公式计算：R_i＝α·c_i+β·re_i+γ·l_i，其中，c_i、re_i、l_i分别为对第i条推文的点赞数、转发数、评论数的离差标准化处理后的值，α，β，γ是可调的超参数且满足α+β+γ＝1，R_i表示第i条推文的公众认同度；

5)将公众认同度与主题相关性进行综合，得到最终的推文显著性，表示为：RankScore＝ω·SS_T+(1-ω)·R，SS_T为一个句子到主题T的相关性度量，R为公众认同度，ω为超参数；

6)采用最大边际相关性算法进行去冗处理，输出摘要。

2.根据权利要求1所述基于主题相关性的推特摘要生成方法，其特征在于：步骤1)所述预处理包括：先对原始数据进行去稀疏化处理，统计所有推文中的名词词频，筛选出前n个话题型名词，作为热点话题词；然后通过先验主题词进行推文的筛选，若所有语料中的言论涉及所述n个话题或者其自带的话题标签涉及所述n个话题，则将此条言论归到其涉及的话题的类别之中，最终得到n个推文集，每个推文集涉及一个话题。

3.根据权利要求2所述基于主题相关性的推特摘要生成方法，其特征在于：步骤1)所述数据清洗包括，去除Hashtag、@、URL和推文末尾的数字，然后将推文中单词数量少于m的推文去除。

4.根据权利要求1或3所述基于主题相关性的推特摘要生成方法，其特征在于：所述提取推文的网络互动信息包括，通过正则表达式提取推文的点赞、转发和评论数量。

5.根据权利要求1所述基于主题相关性的推特摘要生成方法，其特征在于：所述词嵌入模型使用清洗后的数据集通过skip-gram模型训练得到。

6.根据权利要求1所述基于主题相关性的推特摘要生成方法，其特征在于：所述最大边际相关性算法进行去冗处理的具体步骤为：

1)初始化集合A表示用来存放摘要的集合，B表示按推文显著性分数排序后的推文集，x_i表示第i条推文，n表示总的推文数量；

2)从集合B中取出第i个元素x_i，若x_i满足：

len(set(x_i)∩set(s^*))＜k s^*∈A

则将x_i从B集合移动到A集合，否则将x_i从B集合中删除；len函数用来计算x_i和s^*的集合的交集的词的个数，set函数用于集合元素去重；set(x_i)表示对x_i中的词进行去重后的词集，k表示词集的阈值；

3)重复步骤2直到或者A集合推文数量达到预期摘要长度。