[发明专利]信息处理方法、神经网络的训练方法、装置及存储介质

说明书

本申请实施例公开了一种信息处理方法、神经网络的训练方法、装置及计算机可读存储介质，信息处理方法包括：获取包括多个带有标签的样本的初始样本集；确定该多个带有标签的样本中每个样本的冗余权重，该多个带有标签的样本中第一样本的冗余权重与该第一样本的类间相似度相关；根据样本的冗余权重从该初始样本集中去除部分样本以得到精简样本集，该第一样本的冗余权重越小，其被选入该精简样本集的可能性越高，由于其他类别的样本的数目通常远大于所属类别内的样本的数目，因此，类间相似度能够体现初始样本集中更多样本的信息，基于本申请样本冗余权重的确定方法得到精简样本集，对神经网络进行训练，有利于提高神经网络的测试精度和训练效率。

本申请要求于2019年9月18日提交中国专利局、申请号为201910883302.0、发明名称为“信息处理方法、神经网络的训练方法、装置及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及信息处理领域，尤其涉及一种信息处理方法、神经网络的训练方法、装置 及计算机可读存储介质。

背景技术

随着神经网络性能的不断提升，神经网络的深度和计算复杂度也在不断提升，从而导 致神经网络的训练时长也不断增加。目前大部分神经网络是利用全量的样本集进行训练， 样本数目过多，训练时长过长。为了缩短训练时长，现有技术提出从样本集中去除部分样 本，基于得到的精简后的样本集训练神经网络。对于同一样本集，从样本集中去除的样本 不同，训练得到的神经网络模型的测试精度和/或训练时长不同，这表明样本集中不同样 本对训练神经网络的重要性一般不同。为了保证神经网络模型的测试精度，现有技术提出 根据样本对训练神经网络的重要性来对样本集进行精简，一般用样本的权重信息或冗余权 重来衡量该样本对训练神经网络的重要性，从样本集中去除冗余权重较高的样本，能够保 证训练得到的神经网络模型的测试精度，而从样本集中去除冗余权重较低的样本，容易降 低训练得到的神经网络模型的测试精度。

对样本集中样本的冗余权重的确定方法决定着训练神经网络所采用的样本，进而影响 着训练得到的神经网络的测试精度。现有技术提出以样本与所属类别中其他样本的相似度 作为样本的冗余权重，从样本集中去除冗余权重较高的部分样本，形成精简后的样本集。

现有对样本集的精简方法中，冗余权重的确定仅考虑了同一类别内样本间的相似度， 而单个类别内样本的数目通常远小于样本集中样本的数目，同一类别内样本间的相似度仅 能体现样本集中少量样本的信息，根据同一类别内样本间的相似度确定的冗余权重不够准 确，导致基于现有精简方法得到的精简样本集对神经网络进行训练，测试精度较低。

发明内容

为解决上述技术问题，下面通过不同的方面示例性地介绍本申请提供的方案，应理解 的是，以下各个方面的实现方式和有益效果可互相参考。

本申请实施例第一方面提供一种信息处理方法，包括：获取样本集(为了便于区分， 可以将该样本集称作初始样本集)，所述初始样本集包括多个带有标签的样本，其中，一 个样本携带的标签用于标识该样本的类别，样本集中的样本可以为图像、声音、文本等类 型的样本。多个带有标签的样本中的一个样本(称作第一样本)为例，第一样本的标签用于标识所述第一样本所属的类别；可以根据第一样本的类间相似度确定第一样本的冗余权重，第一样本的冗余权重与第一样本的类间相似度相关，所述第一样本的类间相似度用于表示所述第一样本与其他类别样本之间的相似程度。这里所说的“其他类别”是指，样本 集中第一样本所属类别以外的其他类别。确定的初始样本集中各个样本的冗余权重可以用于对初始样本集进行精简，在一种可能的实现方式中，可以根据所述样本集中各样本的冗余权重从样本集中去除冗余权重较大的部分样本，得到精简后的样本集，本申请实施例将精简前的样本集称作初始样本集，将精简后的样本集称作精简样本集。