[发明专利]针对短不相关文本的检测的上下文感知方法

说明书

公开用于确定少量文本是否不相关的系统和方法。社交网络服务器(204)包括配置成提取与所选文章关联的一个或多个评论的评论提取器(512)。取决于与所选文章关联的评论数量，社交网络服务器(204)构建先天上下文和/或传递上下文。先天上下文特征生成器(516)配置成从所构建先天上下文确定先天上下文特征，并且传递上下文特征生成器(518)配置成从所构建传递上下文确定传递上下文特征。评论分类器(520)可以采用上下文特征(530)来确定给定评论是否不相关。

技术领域

本文公开的主题一般涉及用于确定和移除不相关文本的系统和方法，并且，尤其涉及基于周围多个文本或在缺少足够数量的文本时从类似文本中确定的传递(transferred)上下文来确定短文本是否不相关。

背景技术

流行的在线内容提供者每天吸引数百万的访问者。内容提供者可提供具有各种访问者可读取的内容的一个或多个网页。该一个或多个网页可配置成允许访问者来提供对于该一个或多个网页的主题的反馈(例如评论)。例如，网页可以是新闻文章，并且在线内容提供者可允许访问者来提供关于文章的评论。

然而，为了促进访问者间的讨论，在线内容提供者可能不会掩蔽(例如节制)由访问者留下的评论。在这种情况下，恶意访问者(例如垃圾邮件制作者或其他不可靠访问者)可能留下与给定网页的话题不相关的评论。这些评论可包括离家工作的提议、产品推广、项目推广、广告、营销材料以及其他这样的评论。由于它们贬低由在线内容提供者推进的开放论坛并驱赶合法访问者(例如留下与网页话题相关评论的访问者)离开，这些类型的评论是有问题的。这反过来减少至在线内容提供者的总体访问者通信量。由于在线内容提供者典型地依赖访问者通信量来产生收入，合法访问者的减少影响在线内容提供者来产生这样的收入。

发明内容

为了解决现有技术中存在的问题，本发明旨在提供用于检测不相关文本的方法及系统。

一种用于检测不相关文本的方法，该方法包括：从多个文章中选择兴趣文章，兴趣文章与先前从已访问兴趣文章的一个或多个实体中提供的第一批多个评论关联；提取第一批多个评论；响应于第一批多个评论的数量超过评论阈值的确定：基于上下文感知话题分布以及所选评论与所选文章之间的相似性为从所提取第一批多个评论中选择的评论确定上下文感知特征；使用所确定上下文感知特征将文本分类器应用于所提取第一批多个评论，文本分类器提供来自所提取多个评论的给定评论是否不相关的指示；以及响应于所应用的文本分类器，基于所提供指示对给定评论采取行动；以及响应于所提取第一批多个评论的数量并未超过评论阈值的确定：从选自于多个文章中的文章子集中提取第二批多个评论，所提取第二批多个评论与所提取第一批多个评论话题相似：定义传递上下文为所提取第一批多个评论和所提取第二批多个评论的组合；基于传递上下文及所选评论与所选文章之间的相似性为选自于第一批多个评论中的评论确定传递上下文感知特征；使用所确定传递上下文感知特征将文本分类器应用于所提取第一批多个评论，文本分类器提供来自所提取第一批多个评论的给定评论是否不相关的指示；以及响应于所应用的文本分类器，基于所提供指示对给定评论采取行动。