[发明专利]模型生成方法和装置有效
| 申请号： | 201811534701.8 | 申请日： | 2018-12-14 |
| 公开（公告）号： | CN109598344B | 公开（公告）日： | 2020-10-02 |
| 发明（设计）人： | 胡耀全 | 申请（专利权）人： | 北京字节跳动网络技术有限公司 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08 |
| 代理公司： | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人： | 王达佐;马晓亚 |
| 地址： | 100041 北京市石景山区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 模型 生成 方法 装置 | ||
1.一种模型生成方法，包括：
获取训练样本数据；
在基于所述训练样本数据和待训练模型的前向传播过程中，利用第一精度类型的数据进行计算，得到第一精度类型的实际输出；
在基于所述实际输出和所述待训练模型的反向传播过程中，利用第二精度类型的数据进行计算，其中，所述第一精度类型和所述第二精度类型不同。
2.根据权利要求1所述的方法，其中，所述第一精度类型或者第二精度类型为半精度类型。
3.根据权利要求1所述的方法，其中，所述第一精度类型指示的精度小于所述第二精度类型指示的精度。
4.根据权利要求1所述的方法，其中，所述第一精度类型指示的精度大于所述第二精度类型指示的精度。
5.根据权利要求1-4中任一项所述的方法，其中，所述在基于所述训练样本数据和待训练模型的前向传播过程中，利用第一精度类型的数据进行计算，得到第一精度类型的实际输出，包括：
响应于确定所述训练样本数据不是第一精度类型的数据，将所述训练样本数据转换为第一精度类型的数据，生成第一训练样本数据；
响应于确定待训练模型的网络参数不是第一精度类型的数据，将所述网络参数转换为第一精度类型的数据，生成第一网络参数；
利用所述第一训练样本数据和所述第一网络参数，进行前向传播计算，得到第一精度类型的实际输出。
6.根据权利要求1-4中任一项所述的方法，其中，所述在基于所述实际输出和所述待训练模型的反向传播过程中，利用第二精度类型的数据进行计算，包括：
将所述实际输出由第一精度类型转换为第二精度类型；
响应于确定待训练模型的网络参数不是第二精度类型的数据，将所述网络参数转换为第二精度类型的数据，生成第二网络参数；
根据第二精度类型的实际输出和所述第二网络参数，进行反向传播计算，以更新所述第二网络参数。
7.一种模型生成装置，包括：
获取单元，被配置成获取训练样本数据；
前向传播单元，被配置成在基于所述训练样本数据和待训练模型的前向传播过程中，利用第一精度类型的数据进行计算，得到第一精度类型的实际输出；
反向传播单元，被配置成在基于所述实际输出和所述待训练模型的反向传播过程中，利用第二精度类型的数据进行计算，其中，所述第一精度类型和所述第二精度类型不同。
8.根据权利要求7所述的装置，其中，所述第一精度类型或者第二精度类型为半精度类型。
9.根据权利要求7所述的装置，其中，所述第一精度类型指示的精度小于所述第二精度类型指示的精度。
10.根据权利要求7所述的装置，其中，所述第一精度类型指示的精度大于所述第二精度类型指示的精度。
11.根据权利要求7-10中任一项所述的装置，其中，所述前向传播单元，还被配置成：
响应于确定所述训练样本数据不是第一精度类型的数据，将所述训练样本数据转换为第一精度类型的数据，生成第一训练样本数据；
响应于确定待训练模型的网络参数不是第一精度类型的数据，将所述网络参数转换为第一精度类型的数据，生成第一网络参数；
利用所述第一训练样本数据和所述第一网络参数，进行前向传播计算，得到第一精度类型的实际输出。
12.根据权利要求7-10中任一项所述的装置，其中，所述反向传播单元，还被配置成：
将所述实际输出由第一精度类型转换为第二精度类型；
响应于确定待训练模型的网络参数不是第二精度类型的数据，将所述网络参数转换为第二精度类型的数据，生成第二网络参数；
根据第二精度类型的实际输出和所述第二网络参数，进行反向传播计算，以更新所述第二网络参数。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司，未经北京字节跳动网络技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201811534701.8/1.html，转载请声明来源钻瓜专利网。
