[发明专利]一种基于记忆的门控卷积神经网络语义处理系统及方法

权利要求书

1.一种基于记忆的门控卷积神经网络语义处理方法，可应用于一种基于记忆的门控卷积神经网络语义处理系统，该系统包括输入单元、与输入单元连接的分层处理单元以及与分层处理单元连接的记忆单元，所述分层处理单元包括卷积处理层、门控卷积处理层以及残差网络处理层，所述卷积处理层与所述门控卷积处理层连接，若干个所述门控卷积处理层之间连接有一所述残差网络处理层；上述方法的特征在于，包括如下步骤：

S1：输入单元采用词嵌入矩阵将文本数据转换为特征向量；

S2：卷积处理层依据特征向量提取卷积特征图；

具体地，卷积处理层对特征向量进行正常的卷积运算，设定x_i∈R^d是一段语句中第i个词向量表示，其中，向量长度为d，一个长度为n的句子可以表示为一个矩阵：x_1:n∈R^nd，参数大小为w∈R^hd的卷积核一次操作于h个单词，在时刻t获取的线性组合特征值c_t可以定义为：

c_t＝x_t:t+h-1·w+b

b∈R为偏置量，t的定义域为t∈[1,n-h+1]，卷积处理层连续作用于所有输入并合并结果得到一个特征图，输出到门控卷积处理层中，进行门控卷积处理；

S3：经过若干门控卷积处理层多次处理得到多层级语义表征数据，并将多层级语义表征数据传递到记忆单元进行存储，并更新记忆单元中的数据；

S4：依据注意力机制从记忆单元更新后的数据中提取语义特征值；

S5：分类层依据语义特征值得到文本的分类结果。

2.根据权利要求1所述的一种基于记忆的门控卷积神经网络语义处理方法，其特征在于，在步骤S3中，在门控卷积处理层中还包括如下步骤：

S301：对输入X∈R^Nm使用第二卷积计算模块进行卷积计算得到矩阵A，其中A＝(X·W+b)；

S302：同时对输入X∈R^Nm使用门控卷积计算模块计算得到矩阵B，其中B＝(X·V+c)，再将B通过sigmoid非线性转换后得到门控参数σ；

S303：将矩阵A和B依据公式计算得到该门控卷积处理层的输出；

S304：并依据公式更新后向传播网络梯度参数。

3.根据权利要求2所述的一种基于记忆的门控卷积神经网络语义处理方法，其特征在于，在步骤S3中，依据残差网络处理层的深度m，在输入X经过m次门控卷积处理层处理后的输出Y加残差数值W_s·X，其中的W_s为转换参数矩阵。

4.根据权利要求1所述的一种基于记忆的门控卷积神经网络语义处理方法，其特征在于，在步骤S5中，分类层依据分类预测公式得出分类结果，分类预测公式为：

式中，K是类别数目，X是当前层的输入，k′是其中一个具体类别数目，w_k是此层的可训练参数，b_k为偏移量。