[发明专利]数据处理方法和电子设备

说明书

本申请提出了一种数据处理方法和电子设备，涉及数据处理技术领域。其中，上述数据处理方法包括：首先，确定待处理数据的第一数据排布格式。然后，从神经网络模型的各个网络层中筛选第一网络层，目标芯片在第一网络层支持的数据排布格式与第一数据排布格式不一致。其次，根据筛选出的第一网络层，确定至少一个网络层子集，每个网络层子集包括至少一个第一网络层。最后，为每个网络层子集添加格式转换层，并基于添加格式转换层的神经网络模型对待处理数据进行处理。从而，可以对输入网络层子集的待处理数据进行数据排布格式转换，提高目标芯片对各种排布格式的数据的处理效率。

【技术领域】

本申请涉及数据处理技术领域，尤其涉及一种数据处理方法和电子设备。

【背景技术】

在深度学习领域，神经网络模型处理的数据通常是多维数据。多维数据具有不同的排布格式，以常见的四维数据为例，四个维度分别为：数量(N)、高度(H)、宽度(W)以及通道数(C)，其排布格式主要有NHWC以及NCHW。

应用神经网络模型进行数据处理时，芯片对输入各个网络层的数据的排布格式有特定的要求。如果输入数据的排布格式与芯片要求的排布格式不符，那么芯片的处理效率会比较低，甚至无法处理。在这种情况下，如何提高数据处理效率是待解决的问题。

【发明内容】

本申请实施例提供了一种数据处理方法和电子设备，用以提高目标芯片对各种排布格式的待处理数据的处理效率。

第一方面，本申请实施例提供一种数据处理方法，包括：确定待处理数据的第一数据排布格式；从神经网络模型的各个网络层中筛选第一网络层，所述目标芯片在所述第一网络层支持的数据排布格式与所述第一数据排布格式不一致；根据筛选出的所述第一网络层，确定至少一个网络层子集，每个所述网络层子集包括至少一个所述第一网络层；为每个所述网络层子集添加格式转换层，所述格式转换层用于对所述待处理数据进行数据排布格式转换；基于添加所述格式转换层的神经网络模型对所述待处理数据进行处理。

其中一种可能的实现方式中，根据筛选出的所述第一网络层，确定至少一个网络层子集，包括：如果排布次序连续的N个网络层均为第一网络层，则将所述N个第一网络层确定为一个网络层子集，所述N为正整数。

其中一种可能的实现方式中，根据筛选出的所述第一网络层，确定至少一个网络层子集，包括：如果N个第一网络层之间连接有至少一个第二网络层，则将所述N个第一网络层和所述至少一个第二网络层确定为一个网络层子集；所述目标芯片在所述第二网络层的处理效率与数据排布格式无关。

其中一种可能的实现方式中，所述格式转换层包括格式更改层和格式恢复层；为每个所述网络层子集添加格式转换层，包括：在每个所述网络层子集的首个第一网络层的输入侧添加所述格式更改层，所述格式更改层用于将所述第一数据排布格式更改为所述目标芯片支持的数据排布格式；在每个所述网络层子集的最后一个第一网络层的输出侧添加所述格式恢复层，所述格式恢复层用于将输出数据的数据排布格式还原为所述第一数据排布格式。

第二方面，本申请实施例提供一种数据处理方法，包括：将第一数据排布格式的待处理数据输入神经网络模型，所述神经网络模型包括至少一个网络层子集，每个所述网络层子集均添加有格式转换层，每个所述网络层子集包括至少一个第一网络层，目标芯片在所述第一网络层支持的数据排布格式与所述第一数据排布格式不一致；对所述待处理数据进行处理，其中，所述格式转换层用于对所述待处理数据进行数据排布格式转换。

其中一种可能的实现方式中，所述方法还包括：所述格式转换层包括格式更改层和格式恢复层；所述格式更改层添加在每个所述网络层子集的首个第一网络层的输入侧，用于将所述第一数据排布格式更改为所述目标芯片支持的数据排布格式；所述格式恢复层添加在每个所述网络层子集的最后一个第一网络层的输出侧，用于将输出数据的数据排布格式还原为所述第一数据排布格式。