[发明专利]基于无监督聚类的长文本可信度评估方法及系统

说明书

本发明涉及一种基于无监督聚类的长文本可信度评估方法，包括：以已知长文本获取训练数据，提取该训练数据的训练特征以构建训练特征向量集，对该训练特征向量集进行无监督聚类，得到多个训练类心；以待评估长文本获取评估数据，提取该评估数据的评估特征向量；获取该评估特征向量相对该训练类心的评估值，并以该评估值得到该待评估长文本的可信度。本发明通过无监督聚类对长文本进行可信度评估，在实施过程中不需要标注数据，节省了人力、物力与时间，避免了数据中标签稀疏带来的困扰；提取了长文本的文本特征，对于可信度评估任务更加适用，使用该模型得到的文本的可信度更具有可解释性，同时在平台之间可以迁移。

技术领域

本发明属于人工智能领域，具体涉及一种对长文本的可信度进行评估的系统与方法。

背景技术

现在对互联网上的信息进行内容可信度评估的工作主要集中在对UGC内容的评估，比如微博，推特，贴吧等等。这些平台上的内容文本较短，但是其他信息丰富，比如微博的转发评论信息、参与用户的粉丝与关注、以及微博用户本身的历史微博等等。这些信息都可以提取出丰富的特征，主要分为传播特征、用户特征与内容特征等。较为直接的方法是收集尽可能多的标注数据，提取丰富的特征，然后使用传统的数据挖掘算法训练分类器。近两年来，使用深度学习算法的内容可信度评估方法逐渐兴起，使用LSTM、CNN等网络结构对短文本进行建模，同时融入该条信息的其他统计特征(如社交特征)与图像模态的信息。这类的方法也取得了较好的效果。

在长文本的内容可信度评估主要应用在新闻网站以及自媒体平台上，比如微信的个人公众号、各个新闻门户网站、百度百家号、天涯论坛等等。在长文本上的内容可信度评估方法主要有三类，人为甄别、使用机器学习分类器与平台迁移。当前较为常用且朴素的方法是人为甄别，人为地去判别一个长文本是否可信，期间需要人为地对事实进行查证，相对耗时。使用机器学习分类器对长文本进行分类的方法，参考了短文本上的思路，收集较多的标注数据，提取特征并训练分类器或者使用RNN、CNN等深度学习方法直接文本进行分类建模。由于长文本的不同平台数据难以相互迁移，如微信公众号的长文与天天快报的长文数据在写法、内容、风格上有很大不同，故A平台上的数据和模型在B平台上难以复用。而一个长文本平台上的谣言数据很难收集，并且缺乏平台官方公布的谣言数据，稀缺的标注数据导致训练出的模型很不稳定。由此出现了平台迁移的方法，将现有的技术和工具应用在长文本分析中。具体的方法是，在短文本平台上的收集与长文本内容的信息，将长文本的可信度评估任务转移到短文本平台上，然后用相对较为成熟的短文本可信度评估技术来解决这个问题。这里分为文档粒度与段落粒度的平台迁移，文档粒度的平台迁移指对整个长文本提取关键词，然后在其他平台比如微博上收集对应的信息进行评估，而段落粒度的平台迁移即在短文本平台上分别收集与长文本每个段落内容对应的信息，并进行可信度评估。比如对一篇内容关于“吃蕨菜致癌”的长文本进行可信度评估，这篇长文第一段落介绍蕨菜，第二段落介绍蕨菜为什么致癌，第三段落介绍应对的方法。在微博平台上收集对应信息时，文档粒度的平台迁移即在微博上收集“蕨菜致癌”的相关信息，并利用现有方法进行可信度评估。而段落粒度的平台迁移即在微博平台上分别收集“介绍蕨菜”、“蕨菜为什么致癌”、“应对的方法”的对应信息，并分别进行可信度评估，然后对这些可信度进行整合，得到最后的可信度指标。