[发明专利]一种领域适应性网络的深度迁移学习方法在审
申请号: | 201711183073.9 | 申请日: | 2017-11-23 |
公开(公告)号: | CN107958286A | 公开(公告)日: | 2018-04-24 |
发明(设计)人: | 龙明盛;王建民;陈新阳;黄向东 | 申请(专利权)人: | 清华大学 |
主分类号: | G06N3/08 | 分类号: | G06N3/08 |
代理公司: | 北京路浩知识产权代理有限公司11002 | 代理人: | 王莹,吴欢燕 |
地址: | 100084 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 领域 适应性 网络 深度 迁移 学习方法 | ||
1.一种领域适应性网络的深度迁移学习方法,其特征在于,包括:
确定第一概率分布与第二概率分布之间的分布差异,所述第一概率分布为源域的样本在领域适应性网络的任一任务相关层中的特征的概率分布,所述第二概率分布为目标域的样本在所述任一任务相关层中的特征的概率分布,所述任务相关层为所述领域适应性网络的上层,将所述第一概率分布与所述第二概率分布之间的分布差异作为所述任一任务相关层对应的分布差异;
确定对所述源域和所述目标域中已标记的样本的分类错误率;
确定对所述目标域的数据结构的错配度;
根据每一任务相关层对应的分布差异,所述分类错误率和所述错配度,确定所述领域适应性网络的损失函数的值;
基于所述损失函数的值,更新所述领域适应性网络的参数,以使所述领域适应性网络适配所述目标域。
2.根据权利要求1所述的方法,其特征在于,所述确定第一概率分布与第二概率分布之间的分布差异,包括:
将所述源域和所述目标域中的样本输入到所述领域适应性网络,作正向传播,获取所述源域和所述目标域中的样本在所述任一任务相关层中的特征;
根据所述源域的样本在所述任一任务相关层中的特征确定所述第一概率分布,根据所述目标域的样本在所述任一任务相关层中的特征确定所述第二概率分布;
计算所述第一概率分布与所述第二概率分布之间的多核分布距离,将所述多核分布距离作为所述第一概率分布与所述第二概率分布之间的分布差异。
3.根据权利要求2所述的方法,其特征在于,所述计算所述第一概率分布与所述第二概率分布之间的多核分布距离,包括:
选取含有优化参数的多个核函数作为所述源域和所述目标域的样本在所述任一任务相关层中的特征向可再生核希尔伯特空间映射的总核函数;
基于所述总核函数构建所述第一概率分布与所述第二概率分布之间的分布距离函数;
基于无偏估计法确定所述优化参数,以获得所述第一概率分布与所述第二概率分布之间的多核分布距离。
4.根据权利要求1所述的方法,其特征在于,所述确定对所述源域和所述目标域中已标记的样本的分类错误率,包括:
将所述源域和所述目标域中已标记的样本输入到所述领域适应性网络,输出对所述源域和所述目标域中已标记的样本的预测结果;
基于所述领域适应性网络对所述源域和所述目标域中已标记的样本的预测结果的条件概率确定所述分类错误率。
5.根据权利要求1所述的方法,其特征在于,所述确定对所述目标域的数据结构的错配度,包括:
将所述目标域中未标记的样本输入到所述领域适应性网络,输出对所述目标域中未标记的样本的预测结果;
根据所述领域适应性网络对所述源域和所述目标域中已标记的样本的预测结果的条件概率,并基于条件熵函数的低密度划分准则确定所述源域的分类模型对所述目标域的数据结构的错配度。
6.根据权利要求1所述的方法,其特征在于,所述基于所述损失函数的值,更新所述领域适应性网络的参数,包括:
利用反向传播算法更新所述领域适应性网络的参数;
基于更新参数后的所述领域适应性网络,重新确定更新参数后的所述损失函数的值,并判断更新参数前的所述损失函数的值与更新参数后的所述损失函数的值的差值是否大于预设值,若确定所述差值大于所述预设值,则利用反向传播算法重新更新所述领域适应性网络的参数,直至确定所述差值小于所述预设值。
7.一种领域适应性网络的深度迁移学习装置,其特征在于,包括:
至少一个处理器;以及与所述处理器通信连接的至少一个存储器,其中:
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令以执行如权利要求1至6任一所述的方法。
8.一种计算机程序产品,其特征在于,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行如权利要求1至6任一所述的方法。
9.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机程序,所述计算机程序使所述计算机执行如权利要求1至6任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711183073.9/1.html,转载请声明来源钻瓜专利网。