[发明专利]特征量化方法和装置、编码器、通信系统

说明书

本公开提供一种特征量化方法和装置、编码器、通信系统。特征量化方法包括：从特征提取网络模型获取第一浮点特征，其中特征提取网络模型从输入图像中提取出第一浮点特征；将第一浮点特征进行特征量化处理，以得到具有预设比特长度的第二特征；将第二特征发送给编码装置，以便编码装置对第二特征进行编码以得到比特流。

技术领域

本公开涉及编码领域，特别涉及一种特征量化方法和装置、编码器、通信系统。

背景技术

传统的视频压缩编码面向人类视觉，多用于娱乐用途，注重信号保真度、高帧率等，无法匹配面向智能分析任务的机器视觉对于高准确性、低延迟和抽象语义的应用需求。面向人类视觉和面向机器视觉的视频压缩编码在应用场景、评估机制、信息处理和信息使用上存在较大差异。2019年7月，瑞典哥德堡第128次MPEG会议期间成立了VCM(VideoCoding for Machines，机器视觉编码)标准组，旨在研究适合机器视觉和人机混合视觉场景以智能应用为目标的压缩编码技术。

例如，典型应用场景为：利用特征抽取网络提取输入图像的特征后，需要对特征进行压缩/解压缩处理，并将处理后的特征输入任务网络进行处理，以得到输出结果。

发明内容

发明人注意到，在相关技术中，为了降低特征数据的传输量，需要对特征抽取网络所抽取的特征进行压缩/解压缩，但该操作容易导致后续任务网络的性能损失。

为此，本公开提供一种特征量化方案，能够有效减小性能损失。

根据本公开实施例的第一方面，提供一种特征量化方法，由特征量化装置执行，包括：从特征提取网络模型获取第一浮点特征，其中特征提取网络模型从输入图像中提取出第一浮点特征；将第一浮点特征进行特征量化处理，以得到具有预设比特长度的第二特征；将第二特征发送给编码装置，以便编码装置对第二特征进行编码以得到比特流。

在一些实施例中，将第一浮点特征进行特征量化处理包括：将第一浮点特征转换为整形特征B_M；根据整形特征B_M计算对应的直方图H，其中H_i是整形特征B_M的第i个通道B_M，i的直方图，i为通道号，1≤i≤c， c为通道总数；根据直方图H倒求累计直方图P，其中P_i，j＝P_i，i+1+H_i，j， H_i，j是直方图H的第i个通道中的第j个子项，P_i，j是累计直方图P的第i 个通道中的第j个子项；根据累计直方图P进行截断处理，其中若P_i，j大于预设门限，则更新第一浮点特征在第i个通道中的最大值f_max，i；根据预设参数和第一浮点特征在第i个通道中的最大值f_max，i对第一浮点特征在第i个通道中的特征值F_{32_1，i}进行量化处理，以得到第二特征。

在一些实施例中，利用公式

将第一浮点特征F_{32_1}转换为整形特征B_M，其中A为预设参数，int 为整形转换函数，round为四舍五入函数，f_{max_1}为第一浮点特征的最大值。

在一些实施例中，利用公式

更新第一浮点特征在第i个通道中的最大值f_max，i，其中B为预设参数，float为浮点数转换函数。

在一些实施例中，利用公式

计算第二特征在第i个通道中的特征值F_{8_1，i}，其中C为预设参数， max为取最大值函数，F_{32_1，i}为第一浮点特征在第i个通道中的特征值。