[发明专利]基于自编码器的变体词识别方法及系统

权利要求书

1.一种基于自编码器的变体词识别方法，其步骤包括：

将与变体词有关的语料作为数据集，进行分词得到词项，对词项进行向量化；

从上述数据集中生成批量样本，该批量样本包括向量化的词项及其上下文；

将上述批量样本输入到基于神经网络的自编码器的各自编码单元中进行非监督的预训练，得到各自编码单元神经网络的神经元参数；

从上述数据集中生成批量正样本和负样本，该正样本包括向量化的上述变体词和目标词对及其上下文，该负样本包括向量化的一对随机词项及其上下文；

将上述批量正样本和负样本输入到基于上述各自编码单元神经网络的神经元参数的自编码器中进行监督训练，得到整个神经网络的各神经元参数；

将文档中包含的某已知变体词及其上下文向量化，再输入到基于上述整个神经网络的各神经元参数的自编码器中，识别出与该已知变体词关联的候选词。

2.根据权利要求1所述的方法，其特征在于，分词使用的工具包括jieba、NLPIR；向量化采用的方法包括Word2Vec、WordRank。

3.根据权利要求1所述的方法，其特征在于，预训练之前，初始化各自编码单元神经网络的神经元参数，使用标准高斯分布进行随机取值。

4.根据权利要求1所述的方法，其特征在于，预训练时，将损失函数作为各自编码单元的重建层与输入层的差值函数，先训练第一自编码单元，然后使用梯度下降法依次训练其他各自编码单元。

5.根据权利要求1所述的方法，其特征在于，所述正样本的标签为关联，所述负样本的标签为不关联。

6.根据权利要求1所述的方法，其特征在于，识别出的候选词按照与所述已知变体词的关联概率大小排序。

7.一种基于自编码器的变体词识别系统，包括用于存储变体词相关语料数据集的存储模块和用于识别变体词的自编码器；该自编码器基于神经网络，包括：

两个自编码模块，包括多层串联自编码单元，用于将向量化的词项及其上下文处理为压缩编码；

一监督训练模块，包括一softmax单元，用于接收所述两个自编码模块的各压缩编码并进行识别，通过该softmax单元输出变体词识别结果。

8.根据权利要求7所述的系统，其特征在于，所述自编码单元包括输入层、编码层和重建层，该输入层用于输入含有待编码的长向量和上下文向量，该编码层用于压缩编码形成短向量，该重建层用于通过所述短向量重建长向量和上下文向量。

9.根据权利要求7所述的系统，其特征在于，所述自编码模块包括3～10层自编码单元，从第一层开始，每层维数逐层递减，第一层为100～100000维，最后一层为10～100维。

10.根据权利要求7所述的系统，其特征在于，所述监督训练模块使用的神经网络为1～100层，维数为10～1000维。