[发明专利]海量文本中基于词向量表征的新词发现方法及系统

说明书

技术领域

本发明属于中文自然语言处理领域，特别涉及一种海量文本中基于词向量表征的新词发现方法及系统。

背景技术

新词发现是中文自然语言处理研究领域一个非常重要的研究内容。由于中文不像英文等许多西方语言，词和词之间有固定的分隔符，所以分词通常作为中文信息处理任务最开始的一个必要步骤，而新词发现又与分词紧密相关。Sproat和Emerson指出新词的出现很大程度上影响着分词工具的分词准确性，60％的分词错误是由新词引起的。在新词任务中，对于“新词”并没有一个明确界定的概念。在中文分词领域，有新词和未登录词两种概念，未登录词是指不在当前分词工具的词典出现的词，新词则是指随时代发展出现的词，新词也属于未登录词，一般没有对新词和未登录词加以区别，本发明对此也不做区分。

目前新词识别方法主要分为有监督的方法和无监督的方法。有监督的方法主要是基于统计学习，这种方法需要大量的标注数据以及大量的特征选取工作，而获得大量的标注数据往往成本较高，特征选取需要丰富的经验；无监督的方法主要是基于规则或计算一些统计指标来进行新词发现，基于规则的方法需要制定大量的语言规则，可移植性差，而单纯的某个统计指标往往效果较差，且一些统计指标计算复杂。

随着近几年利用神经网络或深度学习训练语言模型而得到的词向量能够很好的表征词与词之间的语义关系，而一个新词如果被分词软件错误的分开，被分开的不同部分应该语义上很相似，例如‘张勇’是一个人名，但分词软件错误的分成了“张/勇/”。经过合适的神经网络模型训练，可以发现‘张’和‘勇’对应的词向量很相似。

发明内容

本发明的目的是提供一种海量文本中基于词向量表征的新词发现方法及系统，以至少解决以上技术问题之一。

本发明是通过以下技术方案实现的。

本发明首先涉及一种海量文本中基于词向量表征的新词发现方法，包括：

对新词发现任务的语料进行预处理，所述预处理至少包括短句切分和分词；

对预处理后的语料进行n-gram词串挖掘，以得到该语料中的n-gram候选词串；

设置词向量，并根据n-gram候选词串中的词与词之间对应的词向量的相似性进行剪枝，得到新词。

作为一种优选的实施方式，所述对预处理后的语料进行n-gram词串挖掘以得到该语料中的n-gram候选词串的方法包括：

从预处理后的语料中查找所有出现频率大于预设频率阈值的二元词串，并记录各个二元词串的位置索引；

二元词串从其位置索引开始进行左右扩张直到达到停止条件，得到n-gram候选词串。

作为另一种优选的实施方式，所述词向量为基于外部语料训练得到，所述基于外部语料训练词向量的方法包括：

对外部语料进行分词处理；

采用神经网络训练语言模型对分词处理后的外部语料进行训练，得到词向量。

作为另一种优选的实施方式，所述根据n-gram候选词串中的词与词之间对应的词向量的距离进行剪枝的方法包括：判断n-gram候选词串中的词与词之间对应的词向量的相似性是否大于预设的相似性阈值，如果满足该条件则将这两个词作为一个新词进行保存。

本发明还涉及一种海量文本中基于词向量表征的新词发现系统，包括：

预处理模块，其被配置成对新词发现任务的语料进行预处理，所述预处理至少包括短句切分和分词；

n-gram词串挖掘模块，其被配置成对预处理后的语料进行n-gram词串挖掘，以得到该语料中的n-gram候选词串；

词向量设置模块，其被配置成设置词向量；

剪枝模块，其被配置成根据n-gram候选词串中的词与词之间对应的词向量的相似性进行剪枝，得到新词。

作为一种优选的实施方式，所述n-gram词串挖掘模块具体被配置成：

从预处理后的语料中查找所有出现频率大于预设频率阈值的二元词串，并记录各个二元词串的位置索引；

二元词串从其位置索引开始进行左右扩张直到达到停止条件，得到n-gram候选词串。

作为另一种优选的实施方式，所述词向量设置模块具体被配置成：对外部语料进行分词处理；采用神经网络训练语言模型对分词处理后的外部语料进行训练，得到词向量。

作为另一种优选的实施方式，所述剪枝模块具体被配置成：判断n-gram候选词串中的词与词之间对应的词向量的相似性是否小于预设的相似性阈值，如果满足该条件则将这两个词作为一个新词进行保存。