[发明专利]基于卷积神经网络的注意力权重计算方法和装置

说明书

本发明提供一种基于卷积神经网络的注意力权重计算方法，该方法包括：接收时序数据，并使用自注意力机制计算时序数据中各特征的注意力权重；对时序数据进行多层注意力权重提取，并获得中间隐藏层影响因素；根据中间隐藏层影响因素和预先获取的基准数据计算不同时刻基准数据的注意力权重；对基准数据进行多层注意力权重提取，并使用自注意力机制更新中间隐藏层影响因素；根据最后一层的注意力权重和中间隐藏层影响因素获取并显示预测结果至客户端。其使用卷积操作提取注意力权重，可以从历史信息中获得信息；使用因果卷积的方式，可以避免未来时刻的信息泄露。本发明还通过修正卷积核的权重并采用多层提取方式，可以准确地获取注意力权重。

技术领域

本发明涉及机器学习技术领域，尤其涉及一种基于卷积神经网络的注意力权重计算方法和装置。

背景技术

近年来，深度学习技术得到了飞速发展，在解决高级抽象认知问题，例如图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐和智能机器人等领域得到了广泛应用，成为学术界和工业界的研究热点。

深度神经网络是人工智能领域具有最高发展水平的感知模型之一，其通过建立模型来模拟人类大脑的神经连接结构，通过多个变换阶段分层对数据特征进行描述，为图像、视频和音频等大规模数据处理任务带来突破性进展。深度神经网络模型是一种运算模型，由大量节点通过网状互连结构构成，这些节点被称为神经元。每两个节点间连接强度都代表通过该连接信号在两个节点间的加权重，即权重，与人类神经网络中的记忆相对应。

注意力机制是一种策略，最早是在视觉图像领域提出来的。注意力机制的思想是提高有用信息的权重，从而让任务处理装置更专注于找到输入数据中显著的与当前输出相关的有用信息，从而提高输出的质量。从应用层面上来说，注意力机制分为空间注意力机制和时序注意力机制。

目前的时序注意力模型主要有两种，一种使用在RNN模型之中，通过前一时间步(t-1)的state推算下一时间步(t)的注意力权重值。这种方式过于注重前一时间步(t-1)的影响力，而对更早的时间步(如t-2)及现时(t)的影响力估计不足。另一种则通过输入tensor矩阵相乘的方式计算注意力权重，缺少可训练参数。并且其attention形式需要通过连接dense层进行特征提取，一方面模型参数过大，另一方面，在时序模型中简单使用dense层，存在未来信息泄露的风险。

发明内容

为了解决上述至少一个技术问题，本发明提出了一种基于卷积神经网络注意力权重计算方法和装置。

为了实现上述目的，本发明第一方面提出了一种基于卷积神经网络的注意力权重计算方法，包括：

接收时序数据，并使用自注意力机制计算所述时序数据中各特征的注意力权重；

对所述时序数据进行多层注意力权重提取，并获得中间隐藏层影响因素；

根据中间隐藏层影响因素和预先获取的基准数据计算不同时刻基准数据的注意力权重；

对所述基准数据进行多层注意力权重提取，并使用自注意力机制更新中间隐藏层影响因素；

根据最后一层的注意力权重和中间隐藏层影响因素获取与所述时序数据对应的预测结果，并显示所述预测结果至客户端。

本方案中，使用自注意力机制计算所述时序数据中各特征的注意力权重，还包括：

使用可变形卷积机制对所述时序数据进行特征提取，以获取时间维度信息；

通过归一化指数函数层获取不同特征在不同时刻的注意力贡献值。

本方案中，对所述基准数据进行多层注意力权重提取，并使用自注意力机制更新中间隐藏层影响因素，还包括：

对上一层的中间隐藏层影响因素进行自注意力更新处理；