[发明专利]用于深度神经网络的硬件实现的层次化尾数位长度选择

权利要求书

1.一种计算机实现的方法，所述方法用于选择用来表示输入到深度神经网络DNN的多个层和/或从所述DNN的多个层输出的值的定点数格式，以用于配置所述DNN的硬件实现，所述方法包括：

接收所述DNN的实例，所述实例被配置为使用针对所述多个层中的每个层的一个或多个初始定点数格式来表示该层的值，每个初始定点数格式包括指数和尾数位长度；

从所述多个层形成多个不相交的子集；

对于多个子集中的每个子集，迭代地将针对所述子集中的层的定点数格式调整为具有下一最低尾数位长度的定点数格式，直到所述DNN的实例的输出误差超过误差阈值为止；

响应于确定所述子集包括多于下限阈值数量的层，从所述多个层形成更多数量的不相交子集并重复迭代调整；以及

响应于确定所述子集包括小于或等于所述下限阈值数量的层，输出针对所述多个层的定点数格式。

2.如权利要求1所述的方法，其中，迭代地将针对所述子集中的层的定点数格式调整为具有下一最低尾数位长度的定点数格式包括：

针对所述子集的每个层的定点数格式，确定具有下一最低尾数位长度的定点数格式；

将所述DNN的实例所使用的针对所述子集中的每个层的定点数格式调整为所确定的具有下一最低尾数位长度的定点数格式；

确定调整后的所述DNN的实例响应于测试输入数据的输出；

确定调整后的所述DNN的实例的输出误差；

响应于确定所述输出误差超过所述误差阈值，逆转对于所述DNN的实例的所述调整；以及

响应于确定所述输出误差未超过所述误差阈值，重复进行确定定点数格式、调整定点数格式、确定输出、以及确定输出误差。

3.如权利要求1或2所述的方法，还包括：识别所述多个层的序列，其中在所述序列中，每个层之前是其所依赖的所述多个层中的任何层，并且其中，所述子集中的每个子集包括所述序列中的一组连续的层。

4.如权利要求1或2所述的方法，其中，所述多个层不包括所述DNN的第一层和/或所述DNN的最后一层。

5.如权利要求1或2所述的方法，其中，在对任何子集进行定点数格式的第二次调整之前，对所有子集进行定点数格式的第一次调整。

6.如权利要求1或2所述的方法，其中，在针对第二子集中的层的定点数格式进行第一次调整之前，完成针对第一子集中的层的定点数格式的所有迭代调整。

7.如权利要求1或2所述的方法，其中，存在针对所述多个层中的至少一个层的输入数据值的初始定点数格式，并且存在针对所述多个层中的至少一个层的权重的初始定点数格式，并且迭代地将针对所述子集中的层的定点数格式调整为具有下一最低尾数位长度的定点数格式直到所述DNN的实例的输出误差超过误差阈值为止包括：

迭代地将针对所述子集中的层的输入数据值的定点数格式调整为具有下一最低尾数位长度的定点数格式，直到所述DNN的实例的输出误差超过所述误差阈值为止；以及

在迭代地调整针对输入数据值的定点数格式之后，迭代地将所述子集中的层的权重的定点数格式调整为具有下一最低尾数位长度的定点数格式，直到所述DNN的实例的输出误差超过所述误差阈值为止。

8.如权利要求7所述的方法，其中，存在针对所述多个层中的至少一个层的输出数据值的初始定点数格式，并且迭代地将针对所述子集中的层的定点数格式调整为具有下一最低尾数位长度的定点数格式直到所述DNN的实例的输出误差超过误差阈值为止包括：

在迭代地调整针对输入数据值的定点数格式之后，迭代地将针对所述子集中的层的输出数据值的定点数格式调整为具有下一最低尾数位长度的定点数格式，直到所述DNN的实例的输出误差超过误差阈值为止。

9.如权利要求1或2所述的方法，其中，所述DNN是分类网络，并且所述输出误差是所述DNN的实例响应于测试输入数据的输出的前1分类准确度或前5分类准确度。