[发明专利]机器学习模型的存储和调用方法、装置有效
申请号: | 201911158683.2 | 申请日: | 2019-11-22 |
公开(公告)号: | CN110837896B | 公开(公告)日: | 2022-07-08 |
发明(设计)人: | 徐治理;霍龙社;曹云飞;崔煜喆;刘腾飞;唐雄燕 | 申请(专利权)人: | 中国联合网络通信集团有限公司 |
主分类号: | G06N20/00 | 分类号: | G06N20/00 |
代理公司: | 北京中博世达专利商标代理有限公司 11274 | 代理人: | 申健 |
地址: | 100033 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 机器 学习 模型 存储 调用 方法 装置 | ||
本申请的实施例提供一种机器学习模型的存储和调用方法、装置,涉及机器学习领域。该方法包括:首先:获取预定框架下的初始机器学习模型;其次,解析初始机器学习模型,获取初始机器学习模型的模型方法;按照方法类模板从模型方法中获取模型方法的属性,该方法类模板包括至少以下属性:模型方法的输入参数、模型方法的返回值;按照模型类模板,将模型方法的属性以及模型方法生成方法实例,并将方法实例写入模型实例;最终,将模型实例以预定数据格式存储为模型文件,因此能够以通用的方式实现机器学习模型的存储。用于不同框架的机器学习模型的统一存储和调用。
技术领域
本申请的实施例涉及机器学习领域,尤其涉及机器学习模型的存储和调用方法、装置。
背景技术
随着人工智能的发展,机器学习(也叫深度学习)在工业上的使用也越来越广泛。为了保存和分享机器学习的研究成果,机器学习模型训练完成后需要对训练结果(即模型结构、模型参数和超参数等)进行保存;同样在调用已有的模型时需要编写调用模块的代码读取保存的信息。
目前,大部分机器学习和深度学习框架都实现了模型保存功能,因此可以通过调用框架的方法完成对模型的持久化。目前,机器学习框架已经发展到了十几种,当然随着技术的演进,还有可能发展出更多种类的机器学习框架,而不同机器学习框架对模型保存的方法也不同,保存后的文件格式也不相同。例如,深度学习框架Tensorflow分别将神经网络结构保存在.meta文件中,将权重、偏置等参数保存在.data数据文件中,将model路径信息存储在checkpoint文件中,然后通过保存.meta文件、.data数据文件、checkpoint文件等对应的二进制文件的方式保存整个模型。在调用机器学习模型时,因为存储格式的不一致,需要根据不同框架提供的包或方法,重新开发调用代码,恢复存储在文件中的模型结构和参数文件。
对于模型的通用保存方法,目前有些公司的做法是通过工具将各类机器学习模型转换为某种特定框架可以直接调用的模型。例如,一种做法是将各类机器学习模型转换为Core ML可以使用的形式,即统一以.coremodel文件保存各类机器学习模型的模型结构和参数文件;这样各类被转化的机器学习模型都可以适用于Core ML框架,但是将各类机器学习模型转化为Core ML框架可以使用的形式还需要使用Core ML框架的模型转换工具(coreml tools)。即对用户来说,不仅需要学习并安装至少一种框架,还需要学习其他工具的使用,以完成将不同框架下的机器学习模型转化为特定框架可以直接调用的模型的过程,造成用户使用机器学习模型的诸多不便。
发明内容
本申请的实施例提供一种机器学习模型的存储和调用方法、装置,能够以通用的方式实现机器学习模型的存储,从而实现在一个平台对不同框架的机器学习模型的调用。
第一方面,提供一种机器学习模型的存储方法。该机器学习模型的存储方法采用如下原理实现:首先:获取预定框架下的初始机器学习模型;其次,解析初始机器学习模型,获取始机器学习模型的模型方法;按照方法类模板从模型方法中获取模型方法的属性,该方法类模板包括至少以下属性:模型方法的输入参数、模型方法的返回值;按照模型类模板,将模型方法的属性以及模型方法生成方法实例,并将方法实例写入模型实例;最终,将模型实例以预定数据格式存储为模型文件。例如可以统一采用二进制的数据格式存储模型文件。这样,由于该机器学习模型的存储方法能够将不同框架下的初始机器学习模型解析出模型方法,并按照统一的方法类模板生成模型方法的属性,按照统一的模型类模板生成统一形式的方法实例并写入模型实例,并且将模型实例以统一的数据格式存储为模型文件,因此,该机器学习模型的存储方法实现了将不同框架下的机器学习模型的统一存储的功能。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国联合网络通信集团有限公司,未经中国联合网络通信集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911158683.2/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种金刚石齿轮加工用上砂装置
- 下一篇:一种多业务线管理系统