[发明专利]一种融合自编码器和对抗训练的中文新词发现方法及装置

权利要求书

1.一种融合自编码器和对抗训练的中文新词发现方法，其特征在于以下步骤，包括：

步骤1)：利用文本重构的自编码器，采用无监督预训练的方式提取句子级别的语义信息；

步骤2)：添加先验句法知识，并与字符向量融合，形成字符句法拼接向量；

步骤3)：对所述字符句法拼接向量进行对抗训练：将输入源域和目标域的混合数据融入到共享层中，利用对抗架构以生成与领域无关的特征向量；

步骤4)：采用条件随机场网络层对步骤3)所述对抗训练后得到的字符序列进行标注，输出整个序列的分词结果，使新词正确包含在分词结果之内。

2.如权利要求1所述的一种融合自编码器和对抗训练的中文新词发现方法，其特征在于，所述融合自编码器和对抗训练的中文新词发现方法还包括微调所述文本重构的自编码器。

3.如权利要求1所述的一种融合自编码器和对抗训练的中文新词发现方法，其特征在于，所述融合自编码器和对抗训练的中文新词发现方法还包括将所述文本重构的自编码器、分词任务、对抗训练进行联合学习。

4.如权利要求1所述的一种融合自编码器和对抗训练的中文新词发现方法，其特征在于，利用文本重构的自编码器的方法包括：

所述文本重构的自编码器使用双向循环神经网络BiLSTM作为语义信息提取网络的编码器和解码器，首先将输入句子s＝c₁c₂...c_n通过嵌入层，将每个字符转化为字符向量e_i，然后通过所述编码器得到双向拼接后的语义特征向量h_i：

在获得相应的语义特征向量h_i后，将其输入到所述解码器中，所述解码器用于将语义特征向量h_i转换为相应输入的字符，此处采用BiLSTM_self作为解码器：

v_i＝BiLSTM_self(h_i) (4)

其中，v_i表示BiLSTM_self到softmax的中间向量，即每一个时间步的隐向量；表示文本重构的自编码器对输入序列每个字符位置输出预测标签的最大概率；R表示字典向量空间，r为字典大小。

5.如权利要求1所述的一种融合自编码器和对抗训练的中文新词发现方法，其特征在于，所述步骤2)中的先验句法知识为在通用领域预训练完成的句法分析器。

6.如权利要求5所述的一种融合自编码器和对抗训练的中文新词发现方法，其特征在于，所述步骤2)中形成字符句法拼接向量的方法，包括：

使用双向循环神经网络BiLSTM作为共享编码器，输入是源域句子和目标域句子的混合数据，其中表示长度为n的源域句子s_src第i个字符，表示长度为m的目标域句子s_tgt第j个字符，以及使用字符来承接所在单词对应的依存关系，每个字符之间的依存关系s_dep＝dep₁，dep₂，...，dep_p；

在输入到双向循环神经网络BiLSTM之前，字符序列信息通过嵌入层，即将每个字符转化为字符向量：源域字符向量序列目标域字符向量序列依存关系向量序列其中表示源域句子第i个字符的字符向量，表示目标域句子第j个字符的字符向量，表示句子第k个字符的依存关系向量；

将字符向量与依存关系向量拼接，输入到BiLSTM中，其中，表示源域句子第i个字符的字符向量，表示源域字符向量与依存关系向量拼接后的向量，表示目标域句子第i个字符的字符向量，表示目标域字符向量与依存关系向量拼接后的向量：

其中，得到源域和目标域的共享特征向量为：和其中表示源域句子第i个字符的共享特征向量，表示目标域句子第j个字符的共享特征向量，d表示BiLSTM隐藏单元的数量。