[发明专利]神经网络的优化方法及装置、设备和存储介质

权利要求书

1.一种神经网络的优化方法，包括：

获取待优化的神经网络的拓扑结构；

基于所述拓扑结构，对所述神经网络进行剪枝处理，以优化所述神经网络。

2.根据权利要求1所述的方法，其中，所述拓扑结构包括所述神经网络的计算图，所述计算图包括至少一个顶点，所述顶点表示所述神经网络中的计算操作，所述基于所述拓扑结构，对所述神经网络进行剪枝处理，包括：

将所述神经网络的计算图中的一个或多个顶点移除。

3.根据权利要求1或2所述的方法，其中，所述拓扑结构包括所述神经网络的计算图，所述计算图包括至少一条边，所述边表示所述神经网络中的数据流向，所述基于所述拓扑结构，对所述神经网络进行剪枝处理，包括：

将所述神经网络的计算图中的一条或多条边移除。

4.根据权利要求2所述的方法，其中，所述顶点的类型包括批标准化类和卷积类，所述将所述神经网络的计算图中的一个或多个顶点移除，包括：

对所述神经网络的计算图中、类型为批标准化类的各顶点，确定该类顶点中为非关节点的顶点为待约束顶点；

对各待约束顶点进行稀疏约束，并将稀疏约束后顶点权值小于预设顶点阈值的待约束顶点作为目标顶点；

将各目标顶点及与各目标顶点相连的、类型为卷积类的顶点，分别从所述计算图中移除。

5.根据权利要求4所述的方法，其中，所述对各待约束顶点进行稀疏约束，包括：

对各待约束顶点，若所述待约束顶点为所述第一顶点，且所述待约束顶点为合并顶点，则对所述待约束顶点进行稀疏约束；

其中，所述第一顶点为被多个待约束顶点指向的待约束顶点。

6.根据权利要求4所述的方法，其中，所述对各待约束顶点进行稀疏约束，包括：

对各待约束顶点，若所述待约束顶点为第一顶点，且所述待约束顶点不是合并顶点，则将所述待约束顶点和指向所述待约束顶点的其他待约束顶点形成第一顶点集合，对所述第一顶点集合进行组稀疏约束；

其中，所述第一顶点为被多个待约束顶点指向的待约束顶点。

7.根据权利要求4所述的方法，其中，所述对各待约束顶点进行稀疏约束，包括：

对各待约束顶点，若所述待约束顶点为第二顶点，则将所述待约束顶点和所述待约束顶点指向的其他待约束顶点形成第二顶点集合，对所述第二顶点集合进行组稀疏约束；

其中，所述第二顶点是指向多个待约束顶点的待约束顶点。

8.根据权利要求4所述的方法，其中，所述对所述神经网络的计算图中的多个顶点进行稀疏约束，包括：

对各待约束顶点，若所述待约束顶点为第三顶点，则对所述待约束顶点进行稀疏约束；

其中，所述第三顶点是仅与一个待约束顶点相连的待约束顶点。

9.根据权利要求3所述的方法，其中，将所述神经网络的计算图中的一条或多条边移除，包括：

确定所述神经网络的计算图中的待约束边；

对各待约束边进行稀疏约束，并将稀疏约束后边权值小于预设边阈值的待约束边作为目标边；

将各目标边从所述计算图中移除。

10.根据权利要求9所述的方法，其中，待约束边为所述神经网络的计算图中的非割边，所述非割边连接所述计算图中的两个顶点且是所述两个顶点之间的唯一路径。

11.根据权利要求1所述的方法，其中，所述对所述神经网络进行剪枝处理之后，所述的方法还包括：

对剪枝处理后的神经网络进行微调训练。

12.根据权利要求1所述的方法，其中，所述对所述神经网络进行剪枝处理之后，所述的方法还包括：

对剪枝处理后的神经网络进行知识蒸馏训练。