[发明专利]新词组发现的方法及装置

说明书

本发明公开了一种新词组发现的方法及装置，涉及计算机技术领域，为解决现有发现新词组的方法中容易造成低频新词组遗漏的问题而发明。本发明的方法包括：获取候选新词组以及候选新词组的子字符串，候选新词组中包含多个词；根据候选新词组和子字符串的左右词缀的统计信息的关系计算词组内统计信息值；根据候选新词组的左右词缀的统计信息和候选新词组在语料中出现的频次计算词组间统计信息值；根据多个词和候选新词组的左右词缀的统计信息的关系计算合并收益值；根据词组内统计信息值、词组间统计信息值以及合并收益值计算得到候选新词组的成词组得分；根据成词组得分确定候选新词组是否为新词组。本发明适合应用在文本分析或者信息挖掘的过程中。

技术领域

本发明涉及计算机技术领域，尤其涉及一种新词组发现的方法及装置。

背景技术

随着信息传播方式的便捷化，网络上新信息产生的速度越来越快，信息量在不断的膨胀，由不同的词组成的新词组层出不穷，因而同一个词在不同的上下文背景中表达的含义往往是不同的，所以在文本处理或者信息挖掘中，单独的将词识别出来不能准确的判断该词的真实的含义，容易产生歧义。比如一个词为“苹果价格”，单独分析该词，它可以表示水果中的苹果的价格，也可以表示手机中苹果手机的价格，而词组“手机苹果价格”就可以清楚地表达词组的含义。因此新词组的发现对于文本的处理或者信息挖掘中等都非常重要。

通常的新词组的发现使用的是传统的统计学方法。具体的发现新词组的过程是：首先从用于发现新词组的语料中选出可能作为新词组的候选新词组；然后利用候选新词组中词与词的共现特征，即根据候选新词组中每个词单独出现的概率与候选新词组中的词同时出现的概率来获得词与词之间的统计信息，然后依据词与词之间的统计信息找出语料中的新词组。

上述传统的统计学方法发现新词组的过程中仅考虑词与词之间的统计信息，该种方法仅分析候选新词组中每个词单独出现的概率与候选新词组中的词同时出现的概率，因此对语料的依赖性较大。对于在不同领域的混合语料中，其中出现频率较低的新词组容易被过滤掉，造成新词组的遗漏。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种新词组发现的方法及装置。

为解决上述技术问题，一方面，本发明提供了一种新词组发现的方法，该方法包括：

获取候选新词组以及所述候选新词组的子字符串，所述候选新词组是在用于发现新词组的语料中出现的满足预设频次阈值的字符串，所述候选新词组中包含多个词；

根据所述候选新词组的左右词缀的统计信息和所述子字符串的左右词缀的统计信息的关系，计算所述候选新词组的词组内统计信息值，所述左词缀为字符串左侧相邻的字符，所述右词缀为字符串右侧相邻的字符，所述词组内统计信息值用于表征所述候选新词组内部字符之间的聚合程度；

根据所述候选新词组的左右词缀的统计信息和所述候选新词组在所述语料中的出现的频次，计算所述候选新词组的词组间统计信息值，所述词组间统计信息值用于表征所述候选新词组与所述候选新词组相邻的字符搭配的固定程度；

根据所述多个词的左右词缀的统计信息和所述候选新词组的左右词缀的统计信息的关系，计算所述候选新词组的合并收益值，所述合并收益值用于表征所述多个词组合对确定候选新词组为新词组的贡献值；

根据所述词组内统计信息值、所述词组间统计信息值以及所述合并收益值计算得到所述候选新词组的成词组得分；

根据所述成词组得分确定所述候选新词组是否为新词组。

另一方面，本发明还提供了一种新词组发现的装置，该装置包括：

获取单元，用于获取候选新词组以及所述候选新词组的子字符串，所述候选新词组是在用于发现新词组的语料中出现的满足预设频次阈值的字符串，所述候选新词组中包含多个词；