[发明专利]无监督学习统一特征提取器构建方法

权利要求书

1.一种无监督学习统一特征提取器构建方法，其特征在于，所述构建方法包括以下步骤：

S1、从服务器端获取实际新闻文本数据和用户访问数据，经过整理和随机化处理后生成新闻特征训练数据集；

S2、使用当前的中文分词工具，将新闻特征训练数据集中的数据进行预处理，得到预处理后的新闻特征训练数据集；

S3、将预处理后的新闻特征训练数据集，通过TF-IDF方法得到新闻特征训练向量集；

S4、将新闻特征训练向量集按照用户访问数据进行归类，形成用户特征训练数据集；

S5、构建一个有多个隐层的栈式非对称降噪收缩自编码器，使用J_SA-CDAE作为目标函数：

其中，

其中k_σ为高斯核，标准差σ取1.0，高斯核函数为：

其中，x表示编码器的输入，f_θ()表示编码器的输出，g_θ()表示解码器输出；L_MC()表示单个输入的代价函数，λ是收缩自编码器的正则化参数，||||_F是F范数符号,J(x)是编码器Jacobian矩阵，θ是深度自编码器的参数集，x_i表示一次训练中编码器的输入，表示解码器还原的输出，t代表训练集，z代表高斯核中的代数式；

S6、训练深度自编码器，训练步骤如下：

S61、将所述新闻特征训练向量集作为所述深度自编码器的训练数据；

S62、在所述训练数据中加入高斯白噪声，生成带噪声的输入数据；

S63、将所述带噪声的输入数据作为所述深度自编码器的输入，训练时采用批量梯度下降法，先进行无监督逐层预训练，得到各隐层的初始参数，以及输出层的输出数据；

S64、在目标函数中对输入的训练数据和输出数据来进行比较，实现梯度的反向传播，对各隐层的初始参数进行调整；

S65、训练完成后，得到深度自编码器的参数集；

S7、去掉深度自编码器的解码器部分，并在最末隐层的输出之后加入二值化生成层，完成无监督学习统一特征提取器的构建。

2.根据权利要求1所述的无监督学习统一特征提取器构建方法，其特征在于：

所述步骤S1，从服务器端获取实际新闻文本数据和用户访问数据，经过整理和随机化处理后生成新闻特征训练数据集，具体包括以下步骤：

S11、采集服务器上一定时段内的新闻数据和用户访问数据；

S12、去除新闻数据中图片和视频，统一编码为UTF-8，为每条新闻设定序号，构成新闻数据集合；

S13、将新闻数据集合中的新闻按序号进行随机化重新排序，然后按一定比例分别作为逐层无监督预训练阶段和全局训练阶段的新闻特征训练数据集。

3.根据权利要求1所述的无监督学习统一特征提取器构建方法，其特征在于：

所述步骤S5中构建一个有多个隐层的栈式非对称降噪收缩自编码器，包括2个隐层。

4.根据权利要求3所述的无监督学习统一特征提取器构建方法，其特征在于：

第一隐层的编码函数为h₁(x_i)＝S(w₁x_i+b₁)，预训练解码函数为

第二隐层的编码函数为h₂(h₁)＝S(w₂h₁+b₂)，预训练解码函数为

第二隐层到输出层的全局训练解码函数为g_o(x_i)＝S(w₁x_i+b₁)；

各层的初始参数采用[0,1]的随机数，非线性激活函数S()统一使用Sigmoid函数，e是欧拉数，h表示隐层的编码函数，g为解码函数，b代表偏置，x表示编码器的输入，w₁、w₂分别是第一和第二隐层的权值参数。