[发明专利]一种深度学习模型标准化训练方法、管理系统、处理终端在审
申请号: | 202110912307.9 | 申请日: | 2021-08-10 |
公开(公告)号: | CN113592017A | 公开(公告)日: | 2021-11-02 |
发明(设计)人: | 黄金;陈立名;田楷;晏文仲;王凯;张健浩;杨剑远 | 申请(专利权)人: | 菲特(天津)检测技术有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N20/00 |
代理公司: | 天津盈佳知识产权代理事务所(特殊普通合伙) 12224 | 代理人: | 孙宝芸 |
地址: | 300308 天津市滨海新区自贸试验区(空港经济*** | 国省代码: | 天津;12 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 深度 学习 模型 标准化 训练 方法 管理 系统 处理 终端 | ||
本发明公开是关于一种深度学习模型标准化训练方法、管理系统、处理终端,涉及深度学习模型训练技术领域。处理训练所需数据,对其进行收集整理、标注,并进行数据检查;将得到的数据进行格式转化,得到模型训练能够读取的数据格式;为模型制定训练策略;开始训练,分析模型训练过程中产生的日志文件,监控模型训练过程;在训练完成后对模型进行测试以查看训练效果。本发明对模型训练制定了标准化步骤,并且建立了模型训练标准化的管理系统,能够很好的解决模型训练效率低下、问题定位困难、上手难度高等问题,应用本发明,可以有效地提高模型训练效率。
技术领域
本发明公开涉及深度学习模型训练技术领域,尤其涉及一种深度学习模型标准化训练方法、管理系统、处理终端。
背景技术
深度学习的模型训练过程,是根据训练数据和标注数据以迭代的方式对神经网络中的各个参数进行调整计算直至模型达到预期的过程。深度学习模型训练结果的好坏主要由数据和训练策略决定;所以,高质量的数据和标注、合理的训练策略对深度学习模型训练尤为重要。深度学习模型训练需要的数据量大,再加上需要对数据进行标注,导致数据、标注管理变得困难。模型训练所需要的参数众多,影响模型训练效果的因素同样增加,导致训练出来的模型质量难以得到保证。数据是深度学习模型训练的基础,训练策略是决定模型的训练效率。
目前,模型的训练和管理主要根据模型训练负责人的个人经验习惯进行。但此方法存在以下缺点:
(1)效率低:没有明确的标准化步骤,容易有重复性工作;
(2)质量没法保证:每个模型训练负责人能力和经验参差不齐,单依靠个人经验能力,模型质量得不到保证;
(3)问题查找难:在出现问题时,问题查找定位困难;
(4)上手难度高:模型训练步骤繁琐,新人上手难度高,需要大量的时间进行培训。
解决以上问题的难点在于:因业务场景不同,每个项目都有各自的训练步骤和流程,需要制定一个能够适用于各个项目的模型训练标准步骤,并建立一个对应的管理系统。
解决以上问题的意义在于:通过对深度学习模型训练流程进行标准化,实现对模型训练步骤进行规范,减少不必要的步骤,并通过有效的手段对每个步骤进行把控,保证工作质量,提高工作效率。
发明内容
为克服相关技术中存在的问题,本发明公开实施例提供了一种深度学习模型标准化训练方法及管理系统。所述技术方案如下:
一种深度学习模型标准化训练方法,包括以下步骤:
步骤一、数据整理标注,对收集到的数据进行清洗整理、标注;
步骤二、数据格式转换,将整理标注好的数据转换成一组可线性读取的文件;
步骤三、制定训练策略,为模型训练设置相关参数;
步骤四、开始训练,并监控模型的训练过程;
步骤五、结果测试,对训练完成的模型进行测试;
在一个实施例中,在步骤一中,
首先对初始数据进行清洗,删除无用、错误的数据,并进行重命名,统一数据名字;
然后,数据标注,标注模型训练所需要的样本;
最后,检查数据和标注内容。
在一个实施例中,在步骤二中,对得到的标注结果和数据进行序列化和格式化转换;转换后的格式是将数据和标注内容进行统一,对其进行序列化并将其存储在一组可线性读取的二进制格式文件中;可视化转换后的格式进行数据检查。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于菲特(天津)检测技术有限公司,未经菲特(天津)检测技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110912307.9/2.html,转载请声明来源钻瓜专利网。