[发明专利]交流平台文本分类方法及装置

说明书

技术领域

本发明涉及互联网技术领域，尤其涉及一种交流平台文本分类方法及装置。

背景技术

在互联网中，论坛一般用来发布信息，为用户提供一个在线交流讨论的平台。通常论坛中发布的信息包括主贴和回帖，其中，主贴是指论坛话题发起的第一条记录，一般包括话题的标题和话题的正文；回帖是指与主题相关，按照发帖时间的先后顺序，排列在主贴后的内容，一般包括对话题的讨论、评论、话题讨论者之间的交流和分享等。

为了判断一篇帖子提出的问题，是否被回帖回答，或者被回帖有效讨论，需要对论坛中的文章进行分类，并以此获取论坛话题讨论效果或获取论坛综合评价，便于后台对论坛资源进行有效管理。

传统的文本分类方法，通常是根据预先标注好的语料，进行特征选取，然后利用这些特征在训练语料上训练出一个模型，并利用这个模型对新的文本进行分类预测。

但是，论坛中的文章，由于与传统文本分类具有很大差异，使得传统的文本分类方法并不完全适用于论坛文章的分类，其主要体现在以下几点：

1、传统文本的结构比较简单。比如，网页中的一篇文章，一般包括标题和正文两段文本。但是论坛中的文章，是一种类似对话形式的组织结构，比如，一篇帖子，一般包括主贴的标题和正文，除此之外，还有很多篇回帖，回帖通常按照时间顺序依次跟在主贴的后面。因此，论坛中的文章相比传统网页文本结构更复杂；

2、传统的文本分类方法，无法判断一篇帖子提出的问题是否被回帖回答，或者被回帖有效讨论。

因此，传统的文本分类方法无法实现对论坛文章的有效分类，进而无法统计论坛话题的讨论效果。

发明内容

本发明的主要目的在于提供一种交流平台文本分类方法及装置，旨在实现对交流平台文本进行有效分类，解决网络论坛话题是否被有效回答的问题。

为了达到上述目的，本发明提出一种交流平台文本分类方法，包括：

采用预设的分类模型对交流平台主文本进行区分；

当根据区分结果判定所述主文本为提问文本时，通过预设的相关性算法，计算获取所述主文本的回复文本与所述主文本的相关性分值；

根据所述相关性分值区分所述主文本为有答案提问文本或无答案提问文本。

优选地，所述采用预设的分类模型对交流平台主文本进行区分的步骤包括：

根据所述主文本的标题和正文构建特征向量；

将所述特征向量输入预设的分类模型，通过所述分类模型进行分析区分后输出所述主文本的分类类型；所述主文本的分类类型包括提问文本和非提问文本。

优选地，所述通过预设的相关性算法，计算获取所述主文本的回复文本与所述主文本的相关性分值的步骤包括：

通过预设的相关性算法，计算获取所述主文本的每一回复文本与所述主文本的相关性分值；或者，计算获取所述主文本的前M篇回复文本与所述主文本的相关性分值，其中，0<M<N，N为所述主文本的所有回复文本。

优选地，所述根据相关性分值区分所述主文本为有答案提问文本或无答案提问文本的步骤包括：

获取计算所得相关性分值最大的回复文本；

判断所述相关性分值最大的回复文本的相关性分值是否大于或等于预设的阈值；若是，则

判定所述主文本为有答案提问文本；否则，

判定所述主文本为无答案提问文本。

优选地，所述采用预设的分类模型对交流平台主文本进行区分的步骤之前还包括：

对预先收集的学习语料进行标注，并从中提取问题特征；

对所述问题特征进行空间向量构造，获得特征向量；

对所述特征向量进行学习，生成分类模型。

本发明还提出一种交流平台文本分类装置，包括：

第一分类模块，用于采用预设的分类模型对交流平台主文本进行区分；

计算获取模块，用于当根据区分结果判定所述主文本为提问文本时，通过预设的相关性算法，计算获取所述主文本的回复文本与所述主文本的相关性分值；

第二分类模块，用于根据所述相关性分值区分所述主文本为有答案提问文本或无答案提问文本。

优选地，所述第一分类模块包括：

构建单元，用于根据所述主文本的标题和正文构建特征向量；

第一分类单元，用于将所述特征向量输入预设的分类模型，通过所述分类模型进行分析区分后输出所述主文本的分类类型；所述主文本的分类类型包括提问文本和非提问文本。