[发明专利]基于Capsule网络和迁移学习的甲骨文构件识别系统

摘要

本发明涉及基于Capsule网络和迁移学习的甲骨文构件识别系统。Capsule网络将激活向量视作逻辑单元，其长度表示特定实体出现的概率，以判断图像中实例化实体的存在与否。为此，Capsule网络需要使用一种新型的非线性激活函数：将较短和较长的激活向量的长度分别缩放至0和1附近，并将向量长度控制在0和1之间。通过Squashing激活函数，Capsule实现了用激活向量的模长来表示实体出现的概率；本案通过数据增强（Data Augmentation）方法，对原始图片进行旋转、平移、反转、放缩等随机干扰，生成新的样本，从而扩充原始数据集。将扩充后的数据集样本进行归一化处理，放缩至(0,1)区间，并按照4:1的比例进行训练集‑测试集拆分，同时对样本标签进行独热编码。

主权项

1.基于Capsule网络和迁移学习的甲骨文构件识别系统，：apsule网络提供了一种基于聚类思想来代替池化完成特征整合的全新方案， Capsule本身也可以通过动态路由算法带来类似于池化的不变性；其优势在于，相对于传统的池化算法，Capsule保留了全部的图像特征，其表达能力也更强；Capsule网络将激活向量视作逻辑单元，其长度表示特定实体出现的概率，以判断图像中实例化实体的存在与否；Capsule网络需要使用一种新型的非线性激活函数：将较短和较长的激活向量的长度分别缩放至0和1附近，并将向量长度控制在0和1之间；通过Squashing激活函数，Capsule实现了用激活向量的模长来表示实体出现的概率；Capsule网络通过动态路由算法来实现对更高层级的Capsule实体（或属性）的聚类，并将子Capsule输出向量中包含的特征信息传送到合适的父类Capsule中；在全连接形式的Capsule网络中，对于除了第一层Capsule之外的所有层级，每层Capsule的输出在传入下一层Capsule之前，都需要乘以一个权值矩阵W_ij进行变换：统的卷积神经网络通常使用Dropout[13]作为正则化方法以降低过拟合风险，而Capsule网络使用一种重构结构进行正则化；重构结构的原理类似于自动编码机中的解码器（Decoder）部分，在训练过程中，忽略其他所有Capsule，只使用正确类别所对应的Capsule的激活向量重新构建出原始图像；通过重构图像与原始输入图像计算得到重构损失，并且将该损失计入模型总损失中进行梯度回传更新；重构结构鼓励Capsule的激活向量对图像进行更为宏观的表征，使激活向量包含更多的有用信息，从而达到正则化的目的；在输出Capsule之后建立重构模块；尝试了多种重构方式，包括全连接、卷积+上采样、反卷积等，最终选择使用多层反卷积的结构，对于甲骨文构件数据来说效果最优；每层反卷积层均采用ReLU激活函数，并且在每个反卷积层后设置Batch Normalization批标准化层；鉴于Capsule网络的计算量相比传统CNN结构提升了数倍，为了节省计算资源，本案采用了迁移学习的方式来训练OracleNet中的卷积模块；本案分别使用已在ImageNET数据集上预训练过的InceptionV3、ResNet50和Xception架构进行迁移学习。