[发明专利]卷积神经网络的优化及快速目标检测方法、装置在审
| 申请号: | 201910258160.9 | 申请日: | 2019-04-01 |
| 公开(公告)号: | CN110059733A | 公开(公告)日: | 2019-07-26 |
| 发明(设计)人: | 张峰;肖潇;晋兆龙 | 申请(专利权)人: | 苏州科达科技股份有限公司 |
| 主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/04;G06N3/08 |
| 代理公司: | 北京三聚阳光知识产权代理有限公司 11250 | 代理人: | 李钦晓 |
| 地址: | 215011 江*** | 国省代码: | 江苏;32 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 卷积 卷积神经网络 预定比特位 快速目标 整型数据 量化层 优化 样本图像数据 参数调整 预定数据 归一化 检测 浮点 删除 量化 | ||
本发明公开了卷积神经网络的优化及快速目标检测方法、装置,该优化方法包括:获取采用浮点型样本图像数据训练好的第一卷积模型;第一卷积模型中的BN层操作位于卷积层操作之后,用于将卷积层操作后得到的数值归一化至预定数据范围;根据BN层的参数调整卷积层的参数;并删除BN层,得到调整后的第二卷积模型;在第二卷积模型中卷积层的卷积操作之前添加量化层,得到第三卷积模型;量化层用于将输入数据量化至预定比特位的整型数据,卷积层以预定比特位的整型数据执行卷积操作。本发明通过优化卷积操作解决了模型体量较大、运行速度较慢的问题。
技术领域
本发明涉及拍摄技术领域,具体涉及卷积神经网络的优化及快速目标检测方法、装置。
背景技术
目标(例如人脸、车辆)检测是目标相关研究的前置步骤,如目标验证、目标识别、目标跟踪、目标属性等。目标识别和目标验证技术已经广泛应用于大规模安防布控领域。目前目标检测的精度能够较好满足实际需求,然而,在目标识别和验证系统中,目标检测步骤占据了较大比重的时间,在有限的计算资源上还不能够批量快速地处理。究其原因,目前所采用的卷积神经网络模型一般会占据很大的存储空间,比如现有技术中,VGG16模型本身大小就有500MB,在实际运行时占用的内存或者显存会更高。这个大小几乎全部来自神经元连接的权重值,因为单个模型里可能就有数百万甚至更多的连接。因此,有必要对现有的检测模型进行性能优化。
现有技术中,已有人采用将卷积层权重值量化至八比特位的方法对检测模型进行优化,且实验研究证明这种优化方式在语音识别领域的效果较好。
然而,发明人发现,由于研究表明采用浮点型样本图像数据进行卷积神经网络进行训练(例如,将整型的样本图像数据转换为0-1范围内的浮点型数据作为卷积神经网络的输入数据)所得到的训练模型效果较好,因此,采用训练好的卷积神经网络进行实际的目标检测时,往往还需要将整型的待检测图像数据转换为浮点型数据输入神经网络,以使得检测结果较为准确。但是,这使得神经网络在计算时,浮点型数据的计算量较大,尤其是卷积操作等矩阵乘法的计算量非常大,模型体量较大,占用的内存和磁盘空间较多,从而运行速度较慢。
发明内容
有鉴于此,本发明实施例提供了卷积神经网络的优化及快速目标检测方法、装置,以解决现有方法的卷积神经网络模型体量较大、运行速度慢的问题。
根据第一方面,本发明实施例提供了一种卷积神经网络的优化方法,包括:获取采用浮点型样本图像数据训练好的第一卷积模型;所述浮点型样本图像数据为整型的样本图像数据被归一化至预定数据范围后所得的数据;所述第一卷积模型中的BN层操作位于卷积层操作之后,用于将卷积层操作后得到的数值归一化至预定数据范围;利用所述BN层的参数调整所述卷积层的参数;并删除所述BN层,得到调整后的第二卷积模型;在所述第二卷积模型中卷积层的卷积操作之前添加量化层,得到第三卷积模型;所述量化层用于将输入数据量化至预定比特位的整型数据,所述卷积层以所述预定比特位的整型数据执行卷积操作。
可选地,由所述第一卷积模型得到所述第二卷积模型的过程还包括:将卷积层的权重值量化至整型的预定比特位。
可选地,量化至预定比特位的整型数据的方法将待量化数据的范围最大值量化至预定比特位的最大值,将范围最小值量化至预定比特位的最小值,并通过以下公式对范围内的任意待量化数据进行量化:y=round(s*x)-round(s*min),其中s=MAX/(max-min),max为待量化数据的范围最大值,min为待量化数据的范围最小值,MAX为量化后的预定比特位的最大值。
可选地,由所述第二卷积模型得到所述第三卷积模型的过程还包括:在至少一个层的操作之后添加反量化层;所述反量化层用于将所述至少一个层操作得到的数据反量化为浮点型数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州科达科技股份有限公司,未经苏州科达科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910258160.9/2.html,转载请声明来源钻瓜专利网。





