[发明专利]一种支持增量更新的深度卷积计算模型

说明书

本发明属于大数据实时处理技术领域，公开了一种支持增量更新的深度卷积计算模型，包括如下步骤：通过堆叠张量卷积层、抽样层以及全链接层构建深度卷积计算模型，通过高阶反向传播算法对模型参数进行训练。在不改变模型连接结构的前提下，根据新增数据的特征，通过设计参数更新算法将模型的张量全连接层参数由θ更新为θ+Δθ，使得更新后的参数能够学习新增相似数据的特征；通过设计结构更新算法不断增加网络计算单元方式来更新模型结构迁移历时知识，实现对高速动态变化的数据特征提取。本发明针对大数据的实时性特点，设计支持增量更新的深度卷积计算模型，能够高效地提取大数据的特征。

技术领域

本发明属于大数据实时处理技术领域，涉及一种支持增量更新的深度卷积计算模型，以应对大数据实时处理带来的挑战。

背景技术

大数据时代的到来带来了很多机遇，也带来了更多的挑战。大数据的一个重要特性是具有实时性，即数据以极快的速度产生，其内容和分布特征均处于高速动态变化之中，而且这些数据要求被快速处理。因此要求特征学习算法能够支持增量式更新，实时地学习高速动态变化数据的特征。增量式学习模型是指建立在已有特征学习模型的基础上，根据当前的新数据实例更新模型的参数与结构，使之能够快速学习新数据的特征；同时需要尽力保持模型的原始知识，使得更新后的模型仍能有效学习历史数据特征。

深度卷积计算模型能够有效的学习数据的特征，然而该模型属于静态学习模型，无法对模型的参数与结构知识进行动态更新，以适应新增数据的变化高效地结合新旧知识。例如，在数据集X训练的模型，在面对具有不同分布的数据集Z中数据时，模型很难得到满意的结果。增量学习是一种有效的融合新旧知识的方法，因此本专利提出一种增量的深度卷积计算模型用来学习处于高速动态变化的大数据特征。

实现支持增量更新的深度卷积计算模型具有两个大的挑战：

(1)快速的参数更新：在稳定的环境中，新增数据分布特征变化不大，对于这一类数据，通过全连接层的参数更新即可实现深度卷积计算模型的增量式学习。传统的参数更新方法在更新参数时时间复杂度高，却未能充分利用现有模型的知识，因此参数更新速度慢，无法满足大数据的实时学习要求。因此如何充分利用现有网络结构结合现有模型的知识，根据新增数据的特征，实现快速的参数更新是支持增量更新的深度卷积计算模型的关键问题。

(2)有效的结构更新：在动态环境中，大数据产生速度快，其分布特征变化明显。对于这一类数据，需要通过增加模型的计算单元，对模型的结构和参数同时进行更新，才能有效学习其分布特征。传统的结构更新模型，构建在向量空间，可以增加任意多个隐藏层神经元。然而高深度卷积计算模型工作在张量空间，模型中卷积、抽样以及全链接层为高阶张量，因此如何设计有效的结构更新规则，有效的迁移历史知识、保证模型的正确性，在增加模型计算单元后如何有效地防止模型过度拟合，实现有效结构的更新是支持增量更新的深度卷积计算模型的关键问题。

深度卷积计算是一种新型技术，它通过其复杂的网络结构，学习到高效的特征参数，进而进行有效的分析预测，同时它通过张量卷积和抽样操作有效地减少模型的参数的数量，但由于模型基于张量表示模型，该技术模型依然存在较多参数，训练过程较为耗时。因此，在大数据时代，对于其应用造成了极大的挑战。主要表现一下三个特性上：

(1)实时性：实时性是指已训练模型能够快速有效的学习新增数据的特征，同时能够保持对历史数据的学习能力，即通过对已有模型的增量训练，直接对现有模型的结构和参数进行更新，从而实现模型对新旧数据的高效学习。

(2)适应性：适应性是指更新后的模型能够对新增数据进行有效学习，即对新增数据的分类及预测误差不断降低。

(3)保持性：保持性是指更新后的模型依然能够保持原有模型的知识，即更新模型依然能够有效学习历史数据的特征。

发明内容