[发明专利]基于同源连续性的单纯形深度神经网络模型及构建方法在审
| 申请号: | 201911375117.7 | 申请日: | 2019-12-27 |
| 公开(公告)号: | CN111144550A | 公开(公告)日: | 2020-05-12 |
| 发明(设计)人: | 宁欣;李卫军;田伟娟;董肖莉;张丽萍 | 申请(专利权)人: | 中国科学院半导体研究所 |
| 主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08 |
| 代理公司: | 中科专利商标代理有限责任公司 11021 | 代理人: | 吴梦圆 |
| 地址: | 100083 *** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 基于 同源 连续性 单纯 深度 神经网络 模型 构建 方法 | ||
1.一种基于同源连续性的单纯形深度神经网络模型的构建方法,其特征在于,包括如下步骤:
步骤1,对输入样本进行特征提取,通过若干并行卷积组提取得到输入样本的特征图,挖掘样本点在高维空间的流形分布;
步骤2,通过自组织映射,对步骤1中提取到的特征图进行聚类,构建流形分布子空间;
步骤3,构建单纯形神经元,基于所述单纯形神经元对步骤2中自组织映射聚类后的不同流形分布子空间进行覆盖学习,由此得到所述基于同源连续性的单纯形深度神经网络模型。
2.根据权利要求1所述的构建方法,其特征在于,步骤1中所述的并行卷积组包括但不限于VGG、ResNet、Densenet或Xception结构。
3.根据权利要求1所述的构建方法,其特征在于,步骤2中所述的自组织映射是基于多种度量方式进行无监督聚类,其中包括但不限于欧氏距离或余弦距离。
4.根据权利要求1所述的构建方法,其特征在于,步骤3中所述的单纯形神经元的构建过程如下:
子步骤31,默认一个簇为一个独立的分布,计算各自空间中各样本间的距离,选择两两距离之和最大的n个样本对n维单纯形的n个顶点进行初始化,即得到单纯形神经元的n个核;
子步骤32,计算每个簇中样本点到单纯形距离的标准差,以便对超球半径进行初始化;
子步骤33,对单纯形和超球进行膨胀积即得到初始化的单纯形神经元;
子步骤34,通过反向传播算法同时更新单纯形神经元的各个参数和用于特征提取的并行卷积组,使类内分布更加紧凑。
5.根据权利要求4所述的构建方法,其特征在于,子步骤32中计算每个簇中样本点到单纯形距离的计算公式如下:
d=||x-q0||;
其中,d为所述点到单纯形距离,||·||代表某种距离度量;x为样本点;q0为单纯形内距离x最近的点。
6.根据权利要求4所述的构建方法,其特征在于,子步骤33中所述单纯形神经元的输出为:
其中,r为超球的半径,此处超球表征为标准差为r的高斯分布。
7.根据权利要求1所述的构建方法,其特征在于,步骤3中所述的覆盖学习采用覆盖比损失和分类准确率损失指导网络参数学习;
所述覆盖比损失以学习完善的RBF神经元体积为参照,控制单纯形神经元的体积,保证类内覆盖的紧凑性。
8.根据权利要求7所述的构建方法,其特征在于,所述覆盖比损失的计算公式如下:
其中,vsimplex为单纯形神经元的体积,vrbf为学习完善的RBF神经元的体积。
9.根据权利要求1所述的构建方法,其特征在于,所述构建方法还包括对已学习的单纯形深度神经网络模型进行测试;
所述测试过程具体包括:
基于已学习的单纯形深度神经网络模型,对测试样本进行非线性映射,得到测试样本在该模型下的得分值,对该得分值选取合适的阈值,进行分类。
10.一种单纯形深度神经网络模型构建系统,其特征在于,所述系统包括:
处理器,用于执行存储器中存储的程序;
存储器,其中存储有用于执行如权利要求1~9任一项所述的单纯形深度神经网络模型的构建方法的程序。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院半导体研究所,未经中国科学院半导体研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911375117.7/1.html,转载请声明来源钻瓜专利网。





