[发明专利]新词发现的方法及装置

说明书

本发明公开了一种新词发现的方法及装置，涉及计算机技术领域，为解决现有技术中发现新词的方法中容易造成低频新词遗漏的问题而发明。本发明的方法包括：获取候选新词以及候选新词的子字符串，候选新词是在用于发现新词的语料中出现的满足预设频次阈值的字符串；根据候选新词的左右词缀的统计信息和子字符串的左右词缀的统计信息的关系，计算候选新词的词内统计信息值；根据候选新词的左右词缀的统计信息和候选新词在语料中的出现的频次，计算候选新词的词间统计信息值；根据词内统计信息值和词间统计信息值计算得到候选新词的成词得分；根据成词得分确定候选新词是否为新词。本发明适合应用在文本分析或者信息挖掘的过程中。

技术领域

本发明涉及计算机技术领域，尤其涉及一种新词发现的方法及装置。

背景技术

随着信息传播方式的便捷化，网络上新信息产生的速度越来越快，信息量在不断的膨胀，各种网络新词、流行语、行业新词层出不穷。而这些新词如何在文本处理和信息挖掘领域中被快速和有效地识别成为一大难点。通常在文本处理和信息挖掘中是使用词典或者词库进行词的识别，因此对于新词的识别同样也可以建立一个相对完整的新词库供研究分析者作为参考来进行新词的识别。

通常的新词库的建立使用的是传统的统计学方法从用于发现新词的语料中发现新词，然后将发现的新词组成新词库。具体的从语料中发现新词的过程是：首先从语料选出可能作为新词的候选新词；然后利用候选新词中字与字的共现特征，即根据候选新词中每个字单独出现的概率与候选新词中的字同时出现的概率来获得字与字之间的统计信息，然后依据字与字之间的统计信息找出语料中的新词。

上述传统的统计学方法发现新词的过程中仅考虑字与字之间的统计信息，该种方法仅分析候选新词中每个字单独出现的概率与候选新词中的字同时出现的概率，因此对语料的依赖性较大。对于在不同领域的混合语料中，其中出现频率较低的新词容易被过滤掉，造成新词的遗漏。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种新词发现的方法及装置。

为解决上述技术问题，一方面，本发明提供了一种新词发现的方法，该方法包括：

获取候选新词以及所述候选新词的子字符串，所述候选新词是在用于发现新词的语料中出现的满足预设频次阈值的字符串；

根据所述候选新词的左右词缀的统计信息和所述子字符串的左右词缀的统计信息的关系，计算所述候选新词的词内统计信息值，所述左词缀为字符串左侧相邻的字符，所述右词缀为字符串右侧相邻的字符，所述词内统计信息值用于表征所述候选新词内部字符之间的聚合程度；

根据所述候选新词的左右词缀的统计信息和所述候选新词在所述语料中出现的频次，计算所述候选新词的词间统计信息值，所述词间统计信息值用于表征所述候选新词与所述候选新词相邻的字符搭配的固定程度；

根据所述词内统计信息值和所述词间统计信息值计算得到所述候选新词的成词得分；

根据所述成词得分确定所述候选新词是否为新词。

另一方面，本发明还提供了一种新词发现的装置，该装置包括：

获取单元，用于获取候选新词以及所述候选新词的子字符串，所述候选新词是在用于发现新词的语料中出现的满足预设频次阈值的字符串；

第一计算单元，用于根据所述候选新词的左右词缀的统计信息和所述子字符串的左右词缀的统计信息的关系，计算所述候选新词的词内统计信息值，所述左词缀为字符串左侧相邻的字符，所述右词缀为字符串右侧相邻的字符，所述词内统计信息值用于表征所述候选新词内部字符之间的聚合程度；

第二计算单元，用于根据所述候选新词的左右词缀的统计信息和所述候选新词在所述语料中出现的频次，计算所述候选新词的词间统计信息值，所述词间统计信息值用于表征所述候选新词与所述候选新词相邻的字符搭配的固定程度；