[发明专利]数据处理方法、装置、电子设备及计算机可读存储介质

说明书

本公开提供了一种数据处理方法、装置、电子设备及计算机可读存储介质，涉及数据处理领域。该方法包括：将待检测数据输入训练后的计算模型；训练后的计算模型包括多层神经网络，每层神经网络设置有第一输入量化比特数、第一权值量化比特数，以及权值矩阵；第一输入量化比特数和第一权值量化比特数为浮点数；确定出每层神经网络中第一输入量化比特数对应的量化输入矩阵，以及，确定出第一权值量化比特数对应的量化权值矩阵；基于量化输入矩阵和量化权值矩阵对待检测数据进行计算，得到每层神经网络对应的各个输出矩阵，并将各个输出矩阵作为待检测数据的目标标注值。本公开大幅提高了计算速度、减少了内存占用、时间和功耗。

技术领域

本公开涉及数据处理技术领域，具体而言，本公开涉及一种数据处理方法、装置、电子设备及计算机可读存储介质。

背景技术

IEEE(Institute of Electrical and Electronics Engineers，电气和电子工程师协会)浮点算术标准是用来衡量计算机上以二进制所表示数字精度的通用约定。

全精度计算意味着在计算时能够以不同精度进行计算。比如，在需要使用高精度进行计算的部分使用双精度，而在不需要使用高精度进行计算的部分使用半精度或单精度进行计算。

混合精度计算则是在单个操作中使用不同的精度级别，从而在不牺牲精度的情况下保证计算效率。

混合精度量化是一种对每层/通道中具有不同位宽的神经网络进行量化，以在加快网络推理速度的同时仍然保持网络准确性的技术。现有的混合精度算法主要以基于增强学习的方法和基于采样的方法为主。

基于增强学习的方法每次训练一组位宽的模型并评估其性能，然后更新策略网络以在下一回合中选择更好的候选模型，因此需要训练不同的模型；而基于采样的方法在位宽搜索中共享所有模型权重，因此不需要训练不同的模型。但是他们采样的方法都需要对大量的候选模型进行采样，并在位宽搜索之后选择最好的候选模型，需要花费大量的时间，导致模型的计算速度较慢，而且，对大量的候选模型进行采样也会导致内存占用过多，功耗较高。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开提供了一种数据处理方法、装置、电子设备及计算机可读存储介质，可以解决模型的计算速度较慢，内存占用过多，功耗较高的问题。所述技术方案如下：

第一方面，提供了一种数据处理方法，该方法包括：

将待检测数据输入训练后的计算模型；所述训练后的计算模型包括多层神经网络，每层神经网络设置有第一输入量化比特数、第一权值量化比特数，以及权值矩阵；所述第一输入量化比特数和所述第一权值量化比特数为浮点数；

确定出每层神经网络中所述第一输入量化比特数对应的量化输入矩阵，以及，确定出所述第一权值量化比特数对应的量化权值矩阵；

基于所述量化输入矩阵和所述量化权值矩阵对所述待检测数据进行计算，得到每层神经网络对应的各个输出矩阵，并将各个输出矩阵作为所述待检测数据的目标标注值。

第二方面，提供了一种数据处理装置，该装置包括：

第一处理模块，用于将待检测数据输入训练后的计算模型；所述训练后的计算模型包括多层神经网络，每层神经网络设置有第一输入量化比特数、第一权值量化比特数，以及权值矩阵；所述第一输入量化比特数和所述第一权值量化比特数为浮点数；

第二处理模块，用于确定出每层神经网络中所述第一输入量化比特数对应的量化输入矩阵，以及，确定出所述第一权值量化比特数对应的量化权值矩阵；