[发明专利]基于概念稳定特征及其差异化网络的概念学习方法

说明书

本发明涉及人工智能领域，构建了一个开放的基于概念稳定特征及其差异化的网络模型SCDNet(Stable characteristics and their differentiation)，该模型具有可扩展性并能够从少量标注样本中学习概念。通过使用向量形式的稳定特征表示每个概念，我们让模型更具有可解释性。我们对初级特征进行压缩编码，在最大化该编码与稳定特征相似度的同时，加入不同概念的稳定特征之间差异性的约束条件。这样不仅能够提高实例特征对所属概念的稳定特征的敏感度，同时还可以增强我们从少量样本中学习的能力。我们对每个概念使用相同的子网络结构，使用统一的学习方法，这使得我们的模型具有很好的扩展性，能够自由的增加概念，即实现连续学习。

技术领域

本发明涉及人工智能领域，具体提出一种新的概念学习方法，使用了基于概念稳定特征及其差异化的网络模型学习各种概念。

背景技术

卷积网络的提出，是受到视觉系统结构的启发而来。基于神经元之间的局部连接性和图像的分层组织变换的第一个计算模型是在Fukushima的神经认知机研究中发现的。他认识到，当具有相同参数的神经元被应用于上一层不同位置的小块时，获得了一种平移不变性的形式。LeCun和合作者跟进了这一想法，设计和训练使用误差梯度的卷积网络，在几种模式识别任务中获得了最先进的性能。对视觉系统的生理学的现代理解与卷积网络中发现的处理方式相一致，至少对于快速识别对象是这样的。到目前为止，基于卷积神经网络的模式识别系统是表现最佳的系统之一。这已经在手写字符识别中清楚地显示出来，多年来它一直是机器学习的基准。

考虑到图像的空间联系是局部的，就像人是通过一个局部的感受野去感受外界图像一样，每一个神经元都不需要对全局图像做感受，每个神经元只感受局部的图像区域，然后在更高层，将这些感受不同局部的神经元综合起来就可以得到全局的信息了。这样，我们就可以减少连接的数目，也就是减少神经网络需要训练的权值参数的个数。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。CNN通过结构重组和减少权值将特征提取功能融合进多层感知器。它可以直接处理灰度图片，能够直接用于处理基于图像的分类。

自动编码器是一种用于从结构化数据(如自然图像)中进行压缩编码的多层神经网络。基本思路很容易解释。如果我们强制多层神经网络的输出与其输入相同，我们在中间放置一个人工神经元相对少的层来形成瓶颈，那么这个瓶颈层的值就被迫成为输入的一个有效压缩编码。由于其多层和非线性，自动编码器获取的编码可以紧凑而强大。例如，输入数据可能是x∈R^28×28＝784的小图像，自动编码器被训练将输入x编码成某个表示y＝c(x)，通过最小化输出y和目标x之间的重建误差||y-x||²，使得可以从该表示重构输入。

约束优化问题是应用中经常遇到的一类数学规划问题，它的解法是人们最为关心的，因此研究的人比较多，提供的方法也较多，约束优化方法大体可以分为以下四类：

(1)用线性规划或二次规划来逐次逼近非线性规划的方法，如SLP法，SQP法等。

(2)把约束优化问题转化为无约束优化问题来求解的方法，如SUMT外点法，SUMT内点法，乘子法等。

(3)对约束优化问题不预先作转换，直接进行处理的分析方法，如可行方向法，梯度投影法，既约梯度法等。

(4)对约束优化问题不预先作变换的直接搜索方法，如复形法，随机实验法等。

发明内容

本发明的目的在于：提出了一种新的概念学习方法，使用了基于概念稳定特征及其差异化的网络模型学习各种概念。该方法基于概念的稳定特征表示对概念之间的差异性进行建模，使得我们该网络模型具有小样本学习能力并且就有高度可扩展性。