[发明专利]一种数据处理方法、装置、设备、介质及程序产品

说明书

本说明书实施例公开了一种数据处理方法、装置、设备、介质及程序产品，该方案包括：对第一图像数据进行图像处理得到包含交通属性信息的第二图像数据；对根据交通属性信息筛选得到的第二图像数据进行标注，得到携带有标签数据的第三图像数据；根据第三图像数据对机器学习模型进行训练，得到训练完成的机器学习模型；将训练完成的机器学习模型封装为可容器化运行的图像处理服务。上述方法可以根据模型训练的需要查找各种类别的待标注图片，提高样本的均衡性并节省大量的图片查找时间。另外，上述方法还实现了图像标注和模型训练的闭环管理，以及生成用于图片处理的图像处理服务。

技术领域

本申请涉及机器学习技术领域，尤其涉及一种数据处理方法、装置及、设备、介质及程序产品。

背景技术

自动驾驶是机器学习的主要领域之一，自动驾驶相关的机器学习模型的性能很大程度上取决于模型训练的样本量大小，为了得到性能优良的深度学习模型，往往需要采用大量的图片样本进行训练。

实际应用中，为了得到用于模型训练的图片样本，这将需要从原始图片数据库中海量的原始图片中，进行人工查找得到用于样本标注的原始图片。这种方式在查找用于样本标注的原始图片时，耗费的时间较长。

因此，亟需一种可减少待标注图像数据的查找时间的数据处理方法。

发明内容

本说明书实施例提出了一种数据处理方法及设备，以提供以减少待标注图像数据的查找时间。

本说明书实施例提供的一种数据处理方法应用于模型训练与部署平台，所述模型训练与部署平台包括图像处理单元、样本标注单元、模型训练单元和模型服务单元，所述数据处理方法包括：

通过所述图像处理单元对交通信息采集设备采集到的第一图像数据进行图像处理，得到包含交通属性信息的第二图像数据；所述交通属性信息用于描述所述第二图像数据中的交通信息；

将所述第二图像数据输入所述样本标注单元，通过所述样本标注单元针对根据所述交通属性信息筛选得到的第二图像数据进行标注，得到携带有标签数据的第三图像数据；

将所述第三图像数据输入所述模型训练单元，通过所述模型训练单元根据所述第三图像数据对机器学习模型进行训练，得到训练完成的机器学习模型；

通过所述模型服务单元将所述训练完成的机器学习模型封装为可容器化运行的图像处理服务；所述图像处理服务用于对所述交通信息采集设备采集到的第四图像数据进行处理。本说明书实施例提供的一种数据处理装置，所述装置为模型训练与部署平台，其特征在于，包括：

图像处理单元，用于对交通信息采集设备采集到的第一图像数据进行图像处理，得到包含属性信息的第二图像数据；所述交通属性信息用于描述所述第二图像数据的图像内容；

样本标注单元，用于针对根据所述交通属性信息筛选得到的第二图像数据进行标注，得到携带有标签数据的第三图像数据；

模型训练单元，用于根据所述第三图像数据对机器学习模型进行训练，得到训练完成的机器学习模型；

模型服务单元，用于将所述训练完成的机器学习模型封装为可容器化运行的图像处理服务；所述图像处理服务用于对所述交通信息采集设备采集到的第四图像数据进行处理。

本说明书实施例提供的一种数据处理设备，所述数据处理设备上部署有模型训练与部署平台，所述模型训练与部署平台包括图像处理单元、样本标注单元、模型训练单元和模型服务单元，所述数据处理设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：