[发明专利]社交网络平台上话题关键词自适应扩充的方法及系统

说明书

技术领域

本发明涉及社交网络领域，具体地说，涉及的是一种社交网络平台上话题关键词自适应扩充的方法及系统。

背景技术

在Web2.0时代，社交网络日益成为人们网络生活的重要组成部分。社交网络是一个基于用户关系的信息分享、传播以及获取平台，用户可以通过WEB、WAP以及各种客户端组件个人社区，以140字左右的文字更新信息，并实现即时分享。从国外的twitter到国内的新浪，对用户的技术门槛都很低，同时社交网络api的存在使得用户可以在各种移动终端上登录社交网络发布消息，这也加速了社交网络的发展。

基于关键词的信息搜索是目前用户查找网络信息的重要手段。但是因为语言的多样性，不同的人对相同的事物有不同的描述，为了避免因为描述不准确或不完整而造成的信息查询不准确，关键词扩充方法是搜索引擎解决这个问题的关键手段。现有的网页关键词扩充方法主要是收集搜索引擎中大量用户的关键词查询使用记录，根据这些关键词共同出现的频率高低来组合扩充。由于网页信息内容繁杂稀疏，因此现有的这些方法只使用了搜索词汇的关系，而没有根据搜索结果的内容之间的相关性来扩充关键词，仍然无法实现话题挖掘和个性化的用户搜索。

随着社交网络的快速发展，社交网络信息搜索成为信息获取的新来源。与网页信息内容多讨论话题比较分散相比，社交网络信息内容简短，谈论话题比较专一，在同一话题中出现的词汇的相关性高。通过分析社交网络信息内容中词之间的相关性，不仅可以提取到相关话题的关键词，而且可以提取到跟该话题高度相关的隐含话题的关键词，比如通过汽车相关的关键词，不仅可以找到汽车品牌和汽车厂商等显性相关话题，而且还可以找到保险、修理等隐含相关话题的关键词。利用社交网络信息内容中词汇之间的相关性扩充关键词库，是实现话题挖掘和个性化搜索的一种新的重要途径。

中国专利申请号为201010545864.3、公开号为101986310A的发明专利，公开了一种更新网络用语词典的方法，该专利主要利用某些特殊应用的网站如搜索引擎网站收集到的信息，根据最新的用户查找词汇来收集新的网络用语，该专利方法对最新流行语的获取比较有效，但不能解决收集某话题相关或隐含相关的的词语。而本发明的目标是挖掘跟话题相关的所有词语，不仅是语义相关的，而且是隐含相关的。本发明不采用传统的语义相关去寻找，而是根据其它词汇和少量标注的话题种子关键词在社交网络信息中共同出现的频率来提取，充分挖掘实际应用的信息之间的相关性。

发明内容

本发明的目的在于针对目前社交网络平台上关键字搜索自适应扩充的情况，提出一种社交网络平台上话题关键词自适应扩充的方法及系统。该方法区别于传统的扩充机制，这种方法是建立在分析社交网络话题自身特点上，具有更高的主动性和精确性。

根据本发明的一个方面，提供一种社交网络平台上话题关键词自适应扩充的方法，通过分析社交网络信息内容中词之间的相关性，提取隐含和相关话题的关键词建立关键词扩充词汇库。该方法通过标注少量的关键词建立种子关键词库，增量自反馈收集样本信息建立语料库，通过样本信息获取词频，利用词频和多层过滤得到与种子关键词相关性高的相关词语，最后选择合适的词汇加入到关键词扩充库中。

本发明方法具体包括以下步骤：

步骤1：基于半监督的话题语料库和话题种子词库的建立；

a.人工标注少量话题相关的正负样本，建立语料库，并且标注少量话题关键词建立种子词库。在微博社交平台，一个样本是指整条微博，而在博客或论坛，是指一个段落。所述的标注少量关键词建立种子词库，少量关键词指不少于5个话题词汇，种子词库集合为KW:{K₁,…,K_i，…,K_M},M为种子词的个数。。

b.语料库半自动增加。利用种子词在社交网络上搜索相关的话题信息，对搜索到的信息进行TF-IDF话题相关性匹配，匹配结果按相关性数值从高到低排列，结果再由人工判断是否跟话题相关，根据人工判断结果将信息加入到正负样本库中，扩充样本库；