[发明专利]一种词汇义原的自动预测方法及装置

说明书

本发明实施例公开了一种词汇义原的自动预测方法及装置，方法包括：根据每个预设词汇的词向量，计算各未知义原词汇与每个已知义原词汇的向量距离；根据各向量距离和距离阈值，选择至少一个目标已知义原词汇作为各未知义原词汇的备选义原集合；根据备选义原集合中各目标已知义原词汇的义原向量，计算得到各未知义原词汇的各义原的分数；根据分数阈值和各义原的分数，得到各未知义原词汇的第一义原向量。通过向量距离确定各未知义原词汇的备选义原集合，进一步计算备选义原集合中各义原的分数，并由此得到各未知义原词汇的第一义原向量，可以自动地对未知义原词汇进行准确地义原预测，减轻手工标注的压力，减少由不同人标注对结果产生的可能偏差。

技术领域

本发明实施例涉及计算机技术领域，具体涉及一种词汇义原的自动预测方法及装置。

背景技术

句子是由一个个词汇组成，来表达不同的意思，而不同的词汇有它的特殊性也有他们的相似性，HowNet用来刻画不同词汇的这些特点。HowNet由人工标注，对大部分常见的词汇标注了它的义原，而义原相对于词汇是一个更小的集合，它表示了词汇更基本的一些意义，不同的义原组合可以表示不同的词汇，比如：古董店的义原包括：场所，商业，买，卖，珍宝和过去。而古董店的定义则可以由这些义原来刻画：买卖过去的珍宝的商业场所就是古董店。义原有很多好的特点，比如根据两个词汇的义原的交集来判断这两个词汇的相似度，可以用于更好的生成词向量以用于自然语言处理中更多的任务。

虽然义原有很多好的性质，但是义原的标注是件非常费时费力的事情。HowNet已经诞生十多年了，最开始是由很多语言专家带头标注的，但是随着信息技术的快速发展，词汇的数量呈爆炸性地增长，而如何高效快速准确地为这些新产生的词汇标注义原就成了一个不得不解决的问题，亟需一种义原的自动构建模型而不是手工标注，既可以保证义原具有相同的特征，也能够避免人标注产生的偏差。

发明内容

由于现有技术存在上述问题，本发明实施例提出一种词汇义原的自动预测方法及装置。

第一方面，本发明实施例提出一种词汇义原的自动预测方法，包括：

根据每个预设词汇的词向量，计算各未知义原词汇与每个已知义原词汇的向量距离；

根据各向量距离和距离阈值，选择至少一个目标已知义原词汇作为各未知义原词汇的备选义原集合；

根据备选义原集合中各目标已知义原词汇的义原向量，计算得到各未知义原词汇的各义原的分数；

根据分数阈值和各义原的分数，得到各未知义原词汇的第一义原向量；

其中，所述预设词汇包括已知义原词汇和未知义原词汇。

可选地，所述方法还包括：

获取预设义原，根据随机梯度下降法和所述预设义原计算得到每个预设词汇的词向量。

可选地，所述根据分数阈值和各义原的分数，得到各未知义原词汇的义原向量之后，还包括：

根据预设义原向量和未知义原词汇向量，得到义原词汇矩阵；

根据所述义原词汇矩阵，计算得到所述义原词汇矩阵的共现矩阵；

根据随机梯度下降法分别对所述义原词汇矩阵和所述共现矩阵进行分解，得到第二义原向量；

根据所述未知义原词汇向量和所述第二义原向量，计算得到目标值；

根据所述目标值和所述第一义原向量，计算得到目标义原向量；

其中，所述义原词汇矩阵由0和1表示，1表示对应的词汇包括对应的义原，0表示对应的词汇不包括对应的义原。

可选地，所述根据随机梯度下降法分别对所述义原词汇矩阵和所述共现矩阵进行分解，得到第二义原向量，具体包括：