[发明专利]基于社交网络的训练语料集的构建方法和装置

说明书

技术领域

本发明涉及互联网技术领域，尤其涉及一种基于社交网络的训练语料集的构建方法和装置。

背景技术

随着互联网技术的发展，通过社交网络来进行信息的分享、传播以及获取，已成为广大网络用户的主要社交方式之一。例如，通过微博或Twitter(推特)等社交网络，用户可以发布自己的最新动态等内容，也可以评论、收藏或转发其他用户发布的内容。

在实际应用中，社交网络的用户量在不断增大，社交网络中每时每刻都在生成大量的文本内容，这些文本内容往往又涉及到多种不同的领域，例如房地产、体育、医疗等领域。而且，社交网络中喜爱发布某一领域的文本内容的用户通常也较为关注社交网络中该领域的文本内容，因此，社交网络的运营人员往往希望能够将社交网络中生成的大量的文本内容划分到相应的领域中，并将相应领域的文本内容分发给对应的受众，从而可以使得用户获得更好地体验，进而能提升用户的活跃度。

目前对社交网络中的文本内容进行分类的方法通常是：收集若干领域的文本语料后，通过人工方式对收集的每个领域的文本语料进行标注，以确定出与该领域相关度较大的文本语料，加入到该领域的训练语料集中；并针对每个领域，通过TF-IDF、信息增益或卡方检测等方法从该领域的训练语料集中确定出该领域的特征词；将各领域的特征词存入到分类特征词库中；根据分类特征词库以及各领域的训练语料集，采用现有的分类器训练方法(例如SVM分类器训练方法)训练出领域分类器；使用训练的领域分类器对待分类的文本内容进行分类。其中，对于训练领域分类器来说，训练语料集中的文本语料的质量对于训练出的领域分类器的质量影响较大。

目前，得到各领域的训练语料集的方式通常有两种：一种是人工收集社交网络中的若干领域的文本语料，但是人工方式收集文本语料耗时耗力，工作量大；另一种是确定出需要收集文本语料的相关领域后，向相关领域的网站网页定向爬取内容；例如，可向新浪体育、搜狐体育等体育网站的网页爬取体育领域的文本语料。由于相关领域的网站网页的内容是经过网页编辑进行编辑过的，与社交网络中的偏向口语化的文本内容存在较大不同，进而使用基于该方式得到的各领域的文本语料训练出的领域分类器的适用性较差，导致社交网络中文本内容的分类也不够准确。

而且，在得到各领域的训练语料集的过程中，通过人工方式进行语料标注，容易产生因人为主观因素使得某个领域的训练语料集中的文本语料的领域相关度不稳定的问题，进而也容易导致后续基于文本语料集对文本内容进行分类的准确度不高的问题。而且，人工方式进行语料标注也浪费了较多的人力。

因此，有必要提供一种能够提高社交网络中文本内容分类的准确度、且节省人力的训练语料集的构建方法。

发明内容

针对上述现有技术存在的缺陷，本发明实施例提供了一种基于社交网络的训练语料集的构建方法和装置，用以提高社交网络中文本内容分类的准确度，并节省人力。

本发明实施例提供了一种基于社交网络的训练语料集的构建方法，包括：

对于待构建的训练语料集所属的领域，获取所述社交网络中该领域的用户群体发布的文本内容；

对于获取的每篇文本内容，对该篇文本内容进行分词，将分词后的各词语中与该领域的特征词库中的特征词相同的词语，作为该篇文本内容的特征词；并根据该篇文本内容的特征词，计算该篇文本内容与该领域的相关度；

将与该领域的相关度大于预设的相关度阈值的文本内容，作为该领域的文本语料加入到该领域的训练语料集中。

较佳地，所述根据该篇文本内容的特征词，计算该篇文本内容与该领域的相关度，具体包括：

对于该篇文本内容的每个特征词，统计出该特征词在该篇文本内容中出现的频次，并从该领域的特征词库中查找出该特征词的权重作为该特征词的领域权重；

根据该篇文本内容的每个特征词在该篇文本内容中出现的频次以及领域权重，计算出该篇文本内容与该领域的相关度。

较佳地，所述根据该篇文本内容的每个特征词在该篇文本内容中出现的频次以及领域权重，计算出该篇文本内容与该领域的相关度，具体为：

根据如下公式1，计算出该篇文本内容与该领域的相关度S_t：

(公式1)

其中，n为该篇文本内容的特征词的总数，i为取值1～n的自然数，W_i为该篇文本内容的第i个特征词的领域权重；f_i为第i个特征词在该篇文本内容中出现的频次。

其中，所述该领域的特征词库是预先构建的：