[发明专利]社交网络中的特征词库构建方法和系统

摘要

本发明公开了一种社交网络中的特征词库构建方法和系统，该方法包括对于博文语料集中待构建的特征词库所属领域的每个种子博文，将该种子博文分词后统计该种子博文的分词结果中各词汇的频率信息，并根据频率信息从该种子博文的分词结果中选择该领域的特征候选词；对于该领域的每个特征候选词，统计博文语料集中的各领域的种子博文中包含该特征候选词的领域个数并作为该特征候选词的领域频率；针对每个特征候选词，根据其频率信息、领域频率，计算该特征候选词的特征得分；若该特征得分超过预设的特征阈值，则将该特征候选词及其特征得分分别作为该领域的领域特征词及其权重对应存储至该特征词库中。应用本发明，可提高构建的特征词库的准确度。

主权项

一种社交网络中的特征词库构建方法，其特征在于，包括：从博文语料集中获取待构建的特征词库所属领域的各种子博文；并对于获取的每个种子博文，将该种子博文分词后进行如下处理：针对该种子博文的分词结果中的每个词汇，统计出该词汇的包括词频IF值的频率信息；根据各词汇的频率信息从该种子博文的分词结果中选择出该领域的特征候选词；词汇的频率信息还包括所述词汇的文档频率DF值和用户频率；对于选择出的该领域的每个特征候选词，统计所述博文语料集中的各领域的种子博文中包含该特征候选词的领域个数，并将统计出的领域个数作为该特征候选词的领域频率；针对该领域的每个特征候选词，根据该特征候选词的频率信息以及领域频率，计算该特征候选词的特征得分，具体包括：针对该特征候选词的每种频率信息，对该特征候选词的该种频率信息的取值进行归一化，得到该特征候选词的该种频率信息的归一值；根据该特征候选词的领域频率、博文语料集中所有种子博文的所属领域总数，计算出该特征候选词的降权因子；根据频率信息中的IF值、DF值、用户频率各自对应的权重、该特征候选词的各种频率信息的归一值以及计算出的该特征候选词的降权因子，计算该特征候选词的特征得分；其中，所述词汇的用户频率是指所述博文语料集中该领域的各种子博文所属的种子用户中谈及该词汇的种子用户的个数；若该特征得分超过预设的特征阈值，则将该特征候选词及其特征得分，分别作为该领域的领域特征词及其权重对应存储至该特征词库中。