[发明专利]一种话题标签自动生成方法、装置及系统

说明书

一种话题标签自动生成方法、装置与系统，包括：步骤一：构建训练数据集合与数据预处理;步骤二：实现基于内容片段的内容选择机制的Transformer encoder特征编码器;步骤三：Transformer decoder的话题摘要生成器模型；步骤四：训练数据并根据交叉验证调优，并实现模型封装与装置的接口实现；本发明通过文本摘要生成技术实现话题标签的自动生成，提出了一种话题标签生成的新场景，本发明提出内容选择机制的Transformer编码并抽取重要的源文本片段，输入解码器用于文本生成，这种设计即捕捉了有效的核心语义片段，又减少了模型训练的开销。

技术领域

本发明涉及计算机技术领域，尤其涉及话题标签自动生成方法、装置及系统。

背景技术

互联网的迅速发展伴随着每天产生大量的文本数据，每一个互联网的使用者都可以作为内容生产者在互联网上发布和修改内容，因此互联网上的内容每天都在以难以想象的速率增加。互联网上的海量内容为想要获取内容的人们带来非常大的便利，人们可以从互联网上找到任何他们想获取的内容；与此同时，互联网上的海量内容中存在着大量的无效内容、垃圾内容，可见，互联网信息时代让我们获取新信息的方式发生了根本性变化，也带来了越来越多挑战。而平衡内容生成和内容获取之间的关系成为自然语言处理(NaturalLanguage Processing，NLP)领域的研究热点。如何从大量无序、杂乱、无结构的文本中高效获取有用信息已成为一个亟待解决的问题。在众多的信息处理方法中，文本生成能够给用户提供一种快速了解原文内容的方式，可以帮助人们快速理解内容中的信息，是平衡内容生成和内容获取之间的关系的关键点。

对于话题的生成是针对文本的上层语义内容的高度概括。话题是文本的浓缩得到的中心语义，而在这些高阶语义的文本生成过程中，首先需要对文本本身的词、句子级别进行有效表征，然后需要对这些词与句子的表征向量抽象为更加高阶的特征词形成话题。

在针对微博的这种社交数据的文本分析中，大量文本可能是不包含话题标签的，为了解决这个问题，就需要在进行话题归纳过程中，实现自动生成的方法自动归纳文本，生成话题。目前，缺乏一种针对话题自动生成与归纳方法的身深入研究，并且主要集中在国内对于社交媒体分析的话题关键词的抽取研究与话题内容聚类研究。微博报道了从日常生活到和全球各地的最新话题，反映了我们生活中的实时事件。考虑到微博内容的庞大体积及其固有的冗余和噪声，通过聚类信息去生成话题的方法并不适合于应用落地，且该类方法受限于聚类性能。而基于话题标签的生成式方法，目前大多的方式采用基于规则的形式利用并组织这些语义素材，形成话题标签的生成，并且整个管道式的过程存在误差累积与误差传递的问题。导致这种话题摘要的方法可用性不高、适应性较窄，准确性低，代价高。

发明内容

为解决上述技术问题，本发明提供了一种端到端的，基于Transformer模型的话题标签自动生成方法。

一种话题标签自动生成方法，包括：

步骤一：构建训练数据集合与数据预处理；

步骤二：实现基于内容片段的内容选择机制的Transformer encoder特征编码器；

步骤三：Transformer decoder的话题摘要生成器模型；

步骤四：训练数据并根据交叉验证调优，并实现模型封装与装置的接口实现。

进一步，所述步骤一中，构建训练数据集合与数据预处理的方法为：

划分微博话题与微博内容，利用Source的文本去生成话题的标签；

对话题语义的句子进行筛选，利用筛选到的句子中去生成话题；

将微博内容划分成片段，分割源文本内容，将所述源文本内容以片段形式呈现；

对所述片段形式的源文本进行语义编码，在每个片段前加[cls]与[eos]标签；