[发明专利]一种基于中文语素和拼音联合统计的词向量表示方法

权利要求书

1.一种基于中文语素和拼音联合统计的词向量表示方法，其特征在于：包括如下步骤：

①采集互联网文本信息构建语料库，对构建的语料库进行正文清洗和分词处理；

②对中文语料进行分词处理后转为不保留声调信息的拼音信息，然后分别对语素和拼音特征在训练集语料和全文档中统计词频和逆文档概率作统计权重TF_c、IDF_c、TF_p和IDF_p；

③基于上下文语素和拼音联合统计的中文词表示模型，对于给定长度语句S＝[x₁,x₂,...,x_K]，其中x_K为第K个语素，通过一个固定大小窗口内的上下文语素来预测中心目标词x_i，构造中文单个语素表示向量；

④在步骤③的基础上训练一个三层神经网络以用于中心目标词的预测，该神经网络包括输入层、一个隐含层和输出层，其输入层特征为基于语素、拼音和词频统计的融合特征，输出层为softmax层用于预测中心目标词，输入层与输出层包含节点数量均等于词汇表的大小。

2.根据权利要求1所述的一种基于中文语素和拼音联合统计的词向量表示方法，其特征在于：

上述步骤③的具体步骤是：对于给定长度语句S＝[x₁,x₂,...,x_K]，其中x_K为第K个语素，通过一个固定大小窗口内的上下文语素来预测中心目标词x_i，该步骤以(2m+1)为窗口大小，将中心语素的前m个和后m个语素{x_i-m,...,x_i-1,x_i+1,...,x_i+m}及其对应的拼音作one-hot编码，生成语素向量组C_i＝{c_i-m,...,c_i-1,c_i+1,...,c_i+m}，其中c_i-m为语素x_i-m编码后大小为T×1的语素向量，同理，生成拼音向量组P_i＝{p_i-m,...,p_i-1,p_i+1,...,p_i+m}，构造中文单个语素表示向量d_i为：

其中i仅表示为窗口中心位于语素x_i位置。

3.根据权利要求1所述的一种基于中文语素和拼音联合统计的词向量表示方法，其特征在于：

上述步骤④中输入层和输出层神经元节点数量等于词汇表大小T，其输入特征即为d_i，输出层采用softmax函数激活用于预测中心目标词，隐含层将输入层节点乘上输入权重矩阵W_T×N得到隐含层经过输出权重矩阵W'_N×T得到z_i＝W'^T_N×T·U_N＝W'^T·W^T·d_i，则有输出层对z_i进行softmax激活，

其中，x_i表示中心目标词，U_N为隐含层输出向量，w'_j表示输出权向量矩阵中的第j列向量。

4.根据权利要求1所述的一种基于中文语素和拼音联合统计的词向量表示方法，其特征在于：

上述中心目标词x_i的损失函数为：

最后采用梯度下降法来求解目标函数，即只需对一个样本的损失梯度求解，获得更新表达式为：

输入权重矩阵，

输出权重矩阵，