[发明专利]模型提取攻击的动态防御方法、系统、介质、设备及应用有效
申请号: | 202011030540.6 | 申请日: | 2020-09-27 |
公开(公告)号: | CN112269988B | 公开(公告)日: | 2022-10-04 |
发明(设计)人: | 李晖;李效光;闫皓楠;王靖仁;王瑞;戴睿;赵兴文;李凤华 | 申请(专利权)人: | 西安电子科技大学 |
主分类号: | G06F21/55 | 分类号: | G06F21/55;G06F21/62;G06N3/08;G06N20/00 |
代理公司: | 西安长和专利代理有限公司 61227 | 代理人: | 黄伟洪 |
地址: | 710071 陕西省*** | 国省代码: | 陕西;61 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 模型 提取 攻击 动态 防御 方法 系统 介质 设备 应用 | ||
1.一种模型提取攻击的动态防御方法,其特征在于,所述模型提取攻击的动态防御方法包括:
使用MLaaS,在线上部署待保护的智能模型;
引入差分隐私技术,设定隐私预算,应用到模型中;
模型收到请求后,生成正常应答,同时设定模型信息泄漏程度;
使用差分隐私技术生成噪声来扰动模型应答,生成带噪回复;
监听模型收到的请求和给出的带噪回复,与训练数据集对比计算得出模型因接收到该次请求后导致的信息泄漏程度;
计算模型信息泄漏程度的累计值;
将信息泄漏程度代入隐私预算的适应性分配算法;
将计算得到的新隐私预算输入给差分隐私技术;
引入差分隐私技术设定隐私预算∈=1,将其应用到模型中;
模型收到请求后,包含有攻击查询,生成正常应答y,同时设定此时模型信息泄漏程度L=0;
使用生成噪声来扰动模型应答,生成带噪回复,具体如下:
监听模型收到的请求和给出的带噪回复,与训练数据集对比计算得出模型因接收到该次请求后导致的信息泄漏程度Ly;
计算模型信息泄漏程度的累计值:
L=L+Ly;
将信息泄漏程度代入隐私预算的适应性分配算法,如下:
其中Lt为用户可接受的模型信息泄漏的最大程度,p为当前部署环境下的范围参数;
将计算得到的新隐私预算输入给
2.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1所述的模型提取攻击的动态防御方法。
3.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行权利要求1所述的模型提取攻击的动态防御方法。
4.一种信息数据处理终端,其特征在于,所述信息数据处理终端用于实现权利要求1所述的模型提取攻击的动态防御方法。
5.一种实施权利要求1所述的模型提取攻击的动态防御方法的模型提取攻击的动态防御系统,其特征在于,所述模型提取攻击的动态防御系统包括:
智能模型部署模块,用于使用MLaaS,在线上部署待保护的智能模型;
差分隐私应用模块,用于引入差分隐私技术,设定隐私预算,应用到模型中;
正常应答模块,用于模型收到请求后,生成正常应答,同时设定此时模型信息泄漏程度;
带噪回复模块,用于使用差分隐私技术生成噪声来扰动模型应答,生成带噪回复;
信息泄漏程度对比模块,用于监听模型收到的请求和给出的带噪回复,与训练数据集对比计算得出模型因接收到该次请求后导致的信息泄漏程度;
累计值计算模块,用于计算模型信息泄漏程度的累计值;
适应性分配模块,用于将信息泄漏程度代入隐私预算的适应性分配算法;
差分隐私输入模块,用于将计算得到的新隐私预算输入给差分隐私技术;
查询请求模块,用于收到新的查询后继续动态防御。
6.一种网络安全终端,其特征在于,所述网络安全终端搭载权利要求5所述的模型提取攻击的动态防御系统。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西安电子科技大学,未经西安电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011030540.6/1.html,转载请声明来源钻瓜专利网。