[发明专利]识别社交短文本类别的方法、分类模型训练方法及装置

说明书

技术领域

本发明涉及网络信息处理技术领域，尤其涉及一种识别社交短文本类别的方法、分类模型训练方法及装置。

背景技术

随着微博、贴吧和微信等应用的广泛使用，在互联网范围内产生了大量的文本数据，大多是片断性的说明描述或观点评论，因其文字内容很短，这些文字内容被称为社交短文本。面对海量文本数据，如何准确有效地对其分类，已成为互联网行业普遍关注和研究的课题。

通常，采用对短文本构建基于词的向量空间模型，这会使得短文本的空间模块太过稀疏。再者，使用单一模型进行训练与学习，其分类效果和准确率较低。此外，以微博为例，通常按照微博的主题将微博分类到为经济、体育、娱乐、生活、游戏动漫、健康、科技和汽车八个类别之一。可以看出，这种分类方法仅考虑了微博的文本内容属性，而舆情用户更为关心的是新闻或事件资源本身，现有的方法无法对此进行有效识别，进而使得应用场景比较有限。

发明内容

本发明实施例的目的在于，提供一种识别社交短文本类别的方法、分类模型训练方法及装置，以自动、准确地识别社交短文本的类别信息。

为实现上述发明目的，本发明的实施例提供了一种用于识别社交短文本的类别的方法，包括：获取社交短文本数据；从所述社交短文本数据提取文本特征数据；以所述文本特征数据作为输入，从经训练的至少两个短文本分类模型分别获取所述社交短文本数据的第一类别信息；根据获取的所述社交短文本数据的第一类别信息确定所述社交短文本数据的第二类别信息。

优选地，所述文本特征数据包括以下至少一种：纯文本特征数据、撰写习惯特征数据、社交特征数据和用户特征数据。

优选地，所述纯文本特征数据包括从所述社交短文本数据切出的字的重要性指数的数据，所述撰写习惯特征数据包括预定的表情符号在所述社交短文本数据中出现的频率的数据，所述社交特征数据包括以下至少一种反馈的数量：转发、评论、点赞、回复、跟踪、顶和踩，所述用户特征数据包括以下至少一种关联用户的数量：粉丝、关注、朋友、互粉、发布短文本和发表评论。

优选地，所述多个短文本分类模型基于至少两个以下分类模型：支持向量机分类模型、逻辑斯蒂回归分类模型和随机森林分类模型。

优选地，所述第二类别信息是新闻事件类、广告类、非商业分享类或私人对话类。

优选地，所述第一类别信息包括所述社交短文本数据为各个所述第二类别信息的置信度值，所述根据获取的所述社交短文本数据的第一类别信息确定所述社交短文本数据的第二类别信息的处理包括：分别计算每个所述第二类别信息对应于从各个所述短文本分类模型获取的置信度值的平均值，并将平均值中的最大值对应的第二类别信息作为所述社交短文本数据的第二类别信息。

优选地，所述从所述社交短文本数据提取文本特征数据的处理包括：对所述社交短文本数据进行切字，并根据词频逆向文件频率(TF-IDF)算法分别计算切出的字的TF-IDF值作为所述社交短文本数据的纯文本特征数据

本发明的实施例还提供了一种短文本分类模型的训练方法，包括：获取多个标注的样本数据，每个所述标注的样本数据包括社交短文本数据、标注的文本特征数据及类别信息；利用所述多个标注的样本数据对短文本分类模型进行训练，以学习社交短文本数据的类别信息。

优选地，所述文本特征数据包括以下至少一种：纯文本特征数据、撰写习惯特征数据、社交特征数据和用户特征数据。

优选地，所述类别信息是新闻事件类、广告类、非商业分享类或私人对话类。

优选地，所述短文本分类模型是支持向量机分类模型、逻辑斯蒂回归分类模型或随机森林分类模型。

本发明的实施例还提供了一种用于识别社交短文本的类别的装置，包括：文本数据获取模块，用于获取社交短文本数据；特征数据提取模块，用于从所述社交短文本数据提取文本特征数据；类别信息获取模块，用于以所述文本特征数据作为输入，从经训练的至少两个短文本分类模型分别获取所述社交短文本数据的第一类别信息；类别信息确定模块，用于根据获取的所述社交短文本数据的第一类别信息确定所述社交短文本数据的第二类别信息。

优选地，所述文本特征数据包括以下至少一种：纯文本特征数据、撰写习惯特征数据、社交特征数据和用户特征数据，所述第二类别信息是新闻事件类、广告类、非商业分享类或私人对话类。