[发明专利]一种基于记忆的门控卷积神经网络语义处理系统及方法

说明书

本发明涉及深度学习及语义处理技术领域，公开了一种基于记忆的门控卷积神经网络语义处理系统及方法，包括输入单元、分层处理单元以及与分层处理单元连接的记忆单元，所述分层处理单元包括卷积处理层、门控卷积处理层以及残差网络处理层；该系统从第三层采用带门控机制的卷积网络，缓解深层网络中梯度消失或爆照的问题，并在每5个门控卷积处理层后加入一个残差网络处理层，通过增加门控卷积处理层与残差网络处理层组来获得深度的网络模型以处理长距离文本数据，在门控卷积处理层输出后将处理数据更新到记忆单元，并结合注意力机制以达到长期记忆和逻辑推理效果，整体结构较简单且训练速度快，在长距离依赖的分类任务上有较高的准确率。

技术领域

本发明涉及深度学习及语义处理技术领域，具体涉及一种基于记忆的门控卷积神经网络语义处理系统及方法。

背景技术

近年来，在深度学习的驱动下，语音语义识别技术取得了重大进展，语音云用户规模达到了亿级规模，并且语音语义交互技术由单一平台向云平台发展，其中语义的识别处理极为重要，只有在语义分类处理正确的前提下才能进行后面的信息交互等，目前长距离依赖复杂文本分类或智能自动问答方法中，传统的卷积层的模型处理类似N-grAms只能保持或识别较短距离的语义关系，不能很好地学习深层关联，且最大池化处理会使卷积模型训练速度慢且语义的语序信息丢失。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于记忆的门控卷积神经网络语义处理系统及方法。

为了实现上述目的，本发明提供如下技术方案：

一种基于记忆的门控卷积神经网络语义处理系统，包括输入单元、与输入单元连接的分层处理单元以及与分层处理单元连接的记忆单元，所述分层处理单元包括卷积处理层、门控卷积处理层以及残差网络处理层，所述卷积处理层与所述门控卷积处理层连接，若干个所述门控卷积处理层之间连接有一个所述残差网络处理层。

在本发明中，优选的，所述分层处理单元还包括有分类层，所述分类层与所述门控卷积处理层连接，所述分类层输出语义分类结果。

在本发明中，优选的，所述门控卷积处理层包括第二卷积计算模块和门控卷积计算模块，所述门控卷积处理层的输出由所述第二卷积计算模块和门控卷积计算模块共同计算得出。

在本发明中，优选的，每两个所述门控卷积处理层之间还连接有参数调整层。

一种基于记忆的门控卷积神经网络语义处理方法，包括如下步骤：

S1：输入单元采用词嵌入矩阵将文本数据转换为特征向量；

S2：卷积处理层依据特征向量提取卷积特征图；

S3：经过若干门控卷积处理层多次处理得到多层级语义表征数据，并将多层级语义表征数据传递到记忆单元进行存储；

S4：提取语义特征值；

S5：分类层依据语义特征值得到文本的分类结果。

在本发明中，优选的，在步骤S1中，输入单元采用词嵌入矩阵将文本数据转换为特征向量。

在本发明中，优选的，在步骤S3中，在门控卷积处理层中还包括如下步骤：

S301：对输入X∈R^Nm使用第二卷积计算模块进行卷积计算得到矩阵A，其中A＝(X·W+b)；

S302：同时对输入X∈R^Nm使用门控卷积计算模块计算得到矩阵B，其中B＝(X·V+c)，再将B通过sigmoid非线性转换后得到门控参数σ；

S303：将矩阵A和B依据公式计算得到该门控卷积处理层的输出；

S304：并依据公式更新后向传播网络梯度参数。