[发明专利]信息处理装置和信息处理方法

说明书

本公开内容涉及信息处理装置和信息处理方法。根据本公开的信息处理装置包括：生成单元，被配置成基于教师神经网络模型生成多个候选学生神经网络模型；训练单元，被配置成通过注意力传输处理基于教师神经网络模型对多个候选学生神经网络模型进行训练；以及选择单元，被配置成基于预定标准从经训练的多个候选学生神经网络模型中选择学生神经网络模型。根据本公开的信息处理装置和信息处理方法能够自动地对规模较大的教师神经网络模型进行压缩以获得规模较小的学生神经网络模型，该学生神经网络模型的性能接近教师神经网络模型但是处理速度更快。

技术领域

本文公开的实施方式涉及信息处理的技术领域。特别地，本公开内容的实施方式涉及用于对卷积神经网络模型进行压缩的信息处理装置和信息处理方法。

背景技术

目前，卷积神经网络(CNN)模型已被广泛应用于图像和语音处理领域。越来越多的CNN模型结构被设计出来并且具有优秀的性能，例如VGG网络，ResNet网络和Inception结构。然而，由于这些CNN模型的规模变得越来越大，因此在被实际部署和应用时受到硬件成本和计算代价的限制。

为了解决上述问题，已提出了若干对CNN模型进行压缩以在不显著降低性能的同时减小其规模的方法。现有的CNN模型压缩方法通常对大规模的教师神经网络模型的参数进行人工调节来获得规模较小的具有类似性能的学生神经网络模型。然而，教师神经网络模型的参数调节需要大量的专业知识并且耗费大量的时间。

因此，有必要提供一种信息处理技术，能够自动地对规模较大的教师神经网络模型进行压缩以获得性能类似于教师神经网络模型但是规模较小的学生神经网络模型。

发明内容

在下文中将给出关于本公开内容的简要概述，以便提供关于本公开内容的某些方面的基本理解。应当理解，这个概述并不是关于本公开内容的穷举性概述。它并不是意图确定本公开内容的关键或重要部分，也不是意图限定本公开内容的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本公开内容的目的在于一种对卷积神经网络模型进行压缩的信息处理装置和信息处理方法，用于将规模较大的教师神经网络模型压缩成具有相似性能的规模较小的学生神经网络。

为了实现本公开内容的目的，根据本公开内容的一个方面，提供了一种信息处理装置，包括：生成单元，被配置成基于教师神经网络模型生成多个候选学生神经网络模型；训练单元，被配置成通过注意力传输处理基于教师神经网络模型对多个候选学生神经网络模型进行训练；以及选择单元，被配置成基于预定标准从经训练的多个候选学生神经网络模型中选择学生神经网络模型。

根据本公开内容的另一方面，提供了一种信息处理方法，包括：生成步骤，用于基于教师神经网络模型生成多个候选学生神经网络模型；训练步骤，用于通过注意力传输处理基于教师神经网络模型对多个候选学生神经网络模型进行训练；以及选择步骤，用于基于预定标准从经训练的多个候选学生神经网络模型中选择学生神经网络模型。

根据本公开内容的再一方面，还提供了能够实现上述的信息处理方法的计算机程序。此外，还提供了具有至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述的信息处理方法的计算机程序代码。

根据本公开内容的信息处理技术，能够自动地对规模较大的教师神经网络模型进行压缩以获得规模较小的学生神经网络模型，该学生神经网络模型的性能接近教师神经网络模型的性能，但是由于规模较小因而处理速度更快。

附图说明

参照下面结合附图对本公开内容实施方式的说明，会更加容易地理解本公开内容的以上和其它目的、特点和优点，在附图中：

图1示出了根据本公开内容的实施方式的信息处理装置的框图；

图2示出了根据本公开内容的实施方式的生成单元执行的处理的示意图；