[发明专利]一种基于特征图和类激活映射的深度学习应用组件可解释方法在审
申请号: | 202010714632.X | 申请日: | 2020-07-23 |
公开(公告)号: | CN111858353A | 公开(公告)日: | 2020-10-30 |
发明(设计)人: | 陈振宇;顾雪晴;尹伊宁 | 申请(专利权)人: | 深圳慕智科技有限公司 |
主分类号: | G06F11/36 | 分类号: | G06F11/36;G06F16/904;G06N3/04;G06N3/08 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 518057 广东省深圳市南山区粤海街道高*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 特征 激活 映射 深度 学习 应用 组件 可解释 方法 | ||
一种基于特征图和类激活映射的深度学习应用组件可解释方法,其特征是围绕深度学习应用评估,基于可视化技术,对深度学习模型的输入、模型静态结构、模型动态推理过程等信息进行可视化展示,加强测试人员对深度学习技术的理解,进而实现对于深度学习应用的质量评估。本发明给软件测试人员提供了直观的理解,详细的信息被提取、重新排列、转换和可视化。本发明有以下有益效果:对于深度学习应用的评估,可借助输入对抗样本后,模型的表现行为可视化加以体现。并主要围绕基于特征图(feature map)的深度学习应用组件可视化,基于类激活映射的模型推理过程可视化,基于可视化的深度学习应用评估方法三方面展开。
技术领域
本发明是一种基于实例的DNN可视化工具。围绕深度学习应用评估,基于可视化技术,对深度学习模型的输入、模型静态结构、模型动态推理过程等信息进行可视化展示,加强测试人员对深度学习技术的理解,进而实现对于深度学习应用的质量评估。
背景技术
深度神经网络技术目前已在软件工程领域日益受到关注。深度学习模型被用于完成各种软件工程任务,并被嵌入到许多软件应用程序中。但是,对于测试人员而言,分析和了解其行为是一项艰巨的任务。一方面,与传统程序符号化表达业务逻辑的方式不同,深度学习应用的内在逻辑不易被测试人员理解;另一方面,深度学习应用的测试标准尚不明确。受传统软件测试启发,研究人员定义了一系列基于神经元的覆盖准则,用于测试深度学习模型。
目前,基于可解释的深度学习可视化方面的研究主要包括对深度学习模型体系结构、特征映射的可视化以及推理过程的可视化。由于TensorBoard及其交互数据流图的流行,体系结构可视化最常用的方法是节点链接图。TensorSpace通过三维可视化解决前者不适用复杂网络的问题,将每一层的神经元都分布在空间中。特征映射方面,将特征图的输出值视为二维数组,该数组可以自然地转化为图像。此外,现有研究还通过将特征映射返回到输入空间来计算神经激活的图像分辨率感受野,引入可视化技术来说明中间特征层的功能和分类器的操作。在推理过程可视化方面,Selvaraju等人通过对卷积层的梯度生成热力图,将输入图像中的重要像素进行显示和标注,帮助理解深度学习的学习区域。但上述的工作未能形成一套完整的体系,为测试人员提供足够的可解释性来评估深度学习的应用。
为了解决这个问题,研究人员还提出了许多提高模型质量的软件测试和调试方法。然而,深度学习测试的实践还处于初级阶段,几乎所有这些方法都侧重于基于结构覆盖率寻找对抗性的例子,但未能提供支持开发人员指导测试过程的交互方式。特别是对于安全性能重要的应用程序,帮助开发人员理解正确执行这些行为的原因是一项具有挑战性但必要的任务。
基于上述工作,为了更好地评估深度学习应用,本发明给软件测试人员提供了直观的理解,详细的信息被提取、重新排列、转换和可视化。此外,在自动训练阶段,由于模型中的超参数在每个时期都在不断调整,工程师们几乎无法与模型进行交互。但训练结束后,与模型交互是可能的。为了帮助工程师解释一个经过训练的模型,可视化被应用于揭示模型内部的语义特征。对于深度学习应用的评估,可借助输入对抗样本后,模型的表现行为可视化加以体现。现有的对抗样本生成技术包括经典的对抗算法以及模糊技术指导下的对抗样本生成。
发明内容
本发明要解决的问题是:
深度学习应用所依托的神经网络通常以复杂的文件格式保存,无法给软件工程师以及测试这带来直观的理解,本发明旨在以一种直观易懂的方式帮助他们了解应用模型做出决策的来源。此外,提高人员和模型之间的交互性,透明化推理过程,使得本发明对深度学习应用的评估能够对应用模型改进和洞察起到推进作用。
本发明的技术方案为:
围绕深度学习应用评估,基于可视化技术,对深度学习模型的输入、模型静态结构、模型动态推理过程等信息进行可视化展示,加强测试人员对深度学习技术的理解,进而实现对于深度学习应用的质量评估。
1)基于特征图(feature map)的深度学习应用组件可视化
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳慕智科技有限公司,未经深圳慕智科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010714632.X/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种支吊架底支撑臂连接装置
- 下一篇:移动式机器人的行走装置