[发明专利]数据处理方法及装置

说明书

本发明提供了数据处理方法及装置。数据处理方法包括：待搜索网络训练步骤，根据待搜索网络训练方法对所述待搜索网络进行训练，直到所述待搜索网络收敛，获得经训练的待搜索网络；其中，所述待搜索网络包括卷积神经网络；特定模型搜索步骤、特定模型训练步骤、以及数据处理步骤。其中，所述待搜索网络训练方法包括，网络损失获取步骤、中间层特征获取步骤、中间层特征匹配步骤、综合损失计算步骤及综合损失反馈步骤。本发明可以加速模型的训练并促进模型搜索。

技术领域

本发明一般地涉及机器学习领域，更具体地，涉及数据处理方法及装置。

背景技术

近年来，深度学习实现端到端的的特征提取，相对于手工提取特征是一个巨大的进步，这使得计算机视觉、自然语言处理和语音识别等任务取得极大的进展；而往往一个更优秀的神经网络架构的出现意味着在各个任务上都能得到一定程度的性能提升。但是神经网络架构很依赖于人工设计，这即使对于一个经验丰富的机器学习从业者也是非常消耗时间和精力的。

因此，最近出现了一些模型搜索的方法，实现神经网络架构的自动化设计，代表机器学习的未来方向。在模型搜索的各种方法中，权值共享是一种比较节省计算资源的方法，如超构网络(SuperNet)和一次性网络(One-shot)等不可微分及DARTS和ProxylessNAS等可微分的模型搜索算法都采用这样方法，但这种方法存在的缺陷是：每一层网络的不同运算操作符可能输出具有不同分布的特征，这对于网络后续层的学习具有不利影响。

发明内容

为了解决现有技术中存在的上述问题，本发明实施例提供了数据处理方法及装置、电子设备和计算机可读存储介质。

第一方面，本发明实施例提供一种数据处理方法，其中，所述数据处理方法包括：待搜索网络训练步骤，根据待搜索网络训练方法对所述待搜索网络进行训练，直到所述待搜索网络收敛，获得经训练的待搜索网络；其中，所述待搜索网络包括卷积神经网络；特定模型搜索步骤，搜索所述经训练的待搜索网络，获得执行特定任务的特定模型；特定模型训练步骤，对所述特定模型进行训练，获取经训练的特定模型；数据处理步骤，将待处理图像输入至所述经训练的特定模型进行数据处理，得到数据处理结果；其中，所述待搜索网络训练方法包括：网络损失获取步骤，将训练样本分别输入待搜索网络和指导网络，根据待搜索网络和指导网络分别输出的处理结果，获取待搜索网络的网络损失，其中，待搜索网络包括一个或多个待搜索网络中间层，指导网络包括一个或多个指导网络中间层；中间层特征获取步骤，获取一个或多个待搜索网络中间层中至少一个待搜索网络中间层输出的待搜索中间层特征，并且获取一个或多个指导网络中间层中与至少一个待搜索网络中间层相对应的至少一个指导网络中间层输出的指导中间层特征；中间层特征匹配步骤，将待搜索中间层特征与指导中间层特征进行匹配，获得中间层特征匹配损失；综合损失计算步骤，根据网络损失和中间层特征匹配损失，计算待搜索网络的综合损失；综合损失反馈步骤，将综合损失反馈到待搜索网络，以便对待搜索网络进行训练。

在一例中，中间层特征匹配步骤包括：通过计算待搜索中间层特征与指导中间层特征的明氏距离、皮尔逊相关距离、马氏距离中的任一种来获得中间层特征匹配损失。

在一例中，综合损失计算步骤包括：将网络损失和中间层特征匹配损失进行加权组合得到综合损失。