[发明专利]一种深度多层网络驱动的特征聚合类别划分器

权利要求书

1.一种深度多层网络驱动的特征聚合类别划分器，其特征在于：包括类别划分器建模、训练和分类，特征选择包括文稿特征和图片特征，根据模态聚合模型完成特征聚合类别划分，类别划分器采用五层神经网络模型完成多模态数据类别划分，其中A₀为输入，分别接收事先训练的图片和文稿的高层语义特征，A₁对输入的多模态特征完成拼接，A₂至A₃学习一个图片和文稿聚合的多模态混合表示，是一个全连接的多层神经网络，A₄完成类别划分预测，产生类别划分结果，多层网络训练是一个有监督的过程，利用类别标记，训练得到的联合表示利于类别划分，在多层神经网络中，A₀的节点数与模态特征的长度一致，A₁中的节点数是A₀中各模态输入节点数的总和，A₂的节点数与问题相关，A₃的结点数与类标记的个数一致。

2.根据权利要求1所述的一种深度多层网络驱动的特征聚合类别划分器，其特征在于，类别划分器训练和分类过程为：

假设多模态信息的向量表示分别为b₁,b₂,…,b_M，则在A₁，拼接后的向量为：

y⁽¹⁾＝[b₁；b₂；...；b_M]

在聚合层，多模态的表示将被聚合，形成多模态联合语义特征，过程为：

y⁽ⁱ⁾＝C(W⁽ⁱ⁾y^(i-1)+e⁽ⁱ⁾)，i＝2，3

其中c是非线性函数sigmoid，W⁽ⁱ⁾和e⁽ⁱ⁾分别是第i层网络的权重和偏置，在获得多模态联合语义特征后，A₄完成类别划分预测，产生类别划分概率：

k、j分别为类别区分下标，n为类别总数，在训练过程中，通过引入softmax的损失函数，通过梯度下降算法进行参数优化，根据类别划分概率，将实体和信息划分到不同的类别中。

3.根据权利要求1所述的一种深度多层网络驱动的特征聚合类别划分器，其特征在于，文稿特征提取过程中，词组向量空间模型使用词为单位的向量表示文稿，通过空间内的向量的相似性表达语义相似性，向量空间模型中，一个文稿向量的每一维表示一个词，用向量间的夹角表示文稿间的相关程度，文稿表示方法通过词的权重向量构成的文稿表示；

假设文档集合G中，给定单词w_i和文档d_j，词条频度tf_I,j表示词w_i在d_j中的出现次数，文档频度df_i表示G中出现了单词w_i的文档篇数，收集频度cf_i表示G中出现单词w_i的总次数，词条频度表达词条在一篇文档中的重要程度，这一重要程度与词条频度值呈正相关，文档频度反映词的信息量，tf-idf为词与文档之间关系的度量方法，表示如下：

使用tf-idf反映词与文档的关系，本发明的词组向量空间模型建立在以tf-idf为权重的词-文档的矩阵上。

4.根据权利要求1所述的一种深度多层网络驱动的特征聚合类别划分器，其特征在于，本发明采用循环神经网络与卷积神经网络相结合的区域卷积神经网络，解决卷积神经网络中词窗口大小难以确定的问题，通过正向和逆向的循环神经网络，解决由于输入文稿的顺序性产生的有偏问题，循环神经网络与卷积神经网络相结合的类别划分器保留词序信息，在文稿特征上，以摘要内容作为一篇描述定义性的文档使用，通过循环卷积神经网络学习向量表示，本发明选取摘要作为文稿语义特征来源，作为多模态聚合模型文稿模态的输入。