[发明专利]一种为短文本自动添加标签的方法及装置

说明书

技术领域

本发明涉及互联网技术领域，尤其涉及一种为短文本自动添加标签的方法及装置。

背景技术

标签是一种互联网内容组织方式，是相关性很强的关键字，标签帮助人们轻松的描述内容或者将内容进行分类，以便于检索和分享。目前，给文章添加标签的方法有以下三种：方式一，人工标签，专业人员手动给文章指定特定标签；方式二，社会化标签，用户为自己的文章或者图片添加自定义的标签；方式三，关键词标签，对较长的文章内容进行分析，自动提取重要关键词作为标签。

然而，现有技术中为文章添加标签的方法，提取关键词作为标签不适用于短文本的操作，并且关键词可能不适合作为标签，准确性较低。另外，需要手动对文章添加标签，增加用户的操作。

发明内容

本发明的实施例提供一种为短文本自动添加标签的方法及装置，可以对短文本自动添加标签，并且提高添加的标签的准确性。

为达到上述目的，本发明的实施例采用如下技术方案：

一种为短文本自动添加标签的方法，包括：

统计标签词集中各个标签词的文档频率倒数；

将短文本扩展为长文本，确定所述标签词集中的各个标签词在所述长文本中出现的词频；

根据所述文档频率倒数和所述词频，确定所述短文本的文本标签。

一种为短文本自动添加标签的装置，包括：

统计单元，用于统计标签词集中各个标签词的文档频率倒数；

扩展单元，用于将短文本扩展为长文本；

词频确定单元，用于确定所述标签词集中的各个标签词在所述长文本中出现的词频；

文本标签确定单元，用于根据所述文档频率倒数和所述词频，确定所述短文本的文本标签。

本发明实施例提供一种为短文本自动添加标签的方法及装置，通过统计标签词集中各个标签词的文档频率倒数，将短文本扩展为长文本，确定所述标签词集中的各个标签词在所述长文本中出现的词频，根据所述文档频率倒数和所述词频，确定所述短文本的文本标签。与采用现有技术为文章添加标签时，提取关键词作为标签不适用于短文本的操作，并且关键词可能不适合作为标签，另外，需要手动对文章添加标签，增加用户的操作相比，本发明实施例提供的方案可以对短文本自动添加标签，并且提高添加的标签的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的一种为短文本自动添加标签的方法的流程图；

图2为本发明实施例1提供的一种为短文本自动添加标签的装置的框图；

图3为本发明实施例2提供的一种为短文本自动添加标签的方法的流程图；

图4为本发明实施例2提供的一种为短文本自动添加标签的装置的框图；

图5为本发明实施例2提供的文本标签确定模块的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本发明实施例提供一种为短文本自动添加标签的方法，如图1所示，该方法包括：

步骤101，统计标签词集中各个标签词的文档频率倒数；

可选的，预设标签词集和与所述标签词集相关联的语料；通常，在统计自然语言处理中可能观测不到大规模的语言实例。所以，人们简单地用文本作为替代，并把文本中的上下文关系作为现实世界中语言的上下文关系。一个文本集合可以称为语料库(Corpus)。可选的，从互联网上收集相关的文本，例如，可以采用腾讯“问问”产品中的问答内容作为语料。

对所述语料切词；切词即将一句话切分成一个个单独的词，例如，对“这是一种为短文本自动添加标签的方法”这句话切词，切为这、是、一种、为、短文本、自动、添加、标签、的、方法这11个词。