[发明专利]一种数据处理方法、装置及设备

说明书

本申请提供一种数据处理方法、装置及设备，该方法包括：对目标类别对应的所有目标框的无标签数据特征进行聚类，得到所述目标类别对应的至少一个无标签聚类中心；确定无标签聚类中心与所述目标类别对应的有标签聚类中心之间的距离；基于所述距离确定所述无标签聚类中心的伪标签类型；基于所有目标类别对应的所有无标签聚类中心的伪标签类型，统计正报类型的伪标签类型的第一数量和误报类型的伪标签类型的第二数量；基于第一数量和第二数量确定机器学习模型是否需要重新训练；若是，则对所述机器学习模型进行重新训练，基于训练后的机器学习模型对待检测图像进行数据处理。通过本申请的技术方案，能够避免触发时机滞后，避免训练资源的浪费。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种数据处理方法、装置及设备。

背景技术

机器学习是实现人工智能的一种途径，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习用于研究计算机如何模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习更加注重算法设计，使计算机能够自动地从数据中学习规律，并利用规律对未知数据进行预测。机器学习已经有了十分广泛的应用，如深度学习、数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、语音识别和手写识别等。

为了采用机器学习实现人工智能处理，可以构建训练数据集，该训练数据集包括大量有标签图像(即具有标定框和目标类别的图像)，基于该训练数据集训练出机器学习模型，如具有检测功能的机器学习模型等，可以采用机器学习模型对待检测图像进行数据处理。比如说，采用机器学习模型检测出待检测图像中的目标的类别，如车辆类别、动物类别、电子产品类别等。

为了持续提升机器学习模型的泛化能力，提高机器学习模型的性能，需要对机器学习模型进行重新训练，得到训练后的机器学习模型，并替换已部署的机器学习模型，基于训练后的机器学习模型对待检测图像进行数据处理。

关于何时触发对机器学习模型进行重新训练，可以基于固定周期触发对机器学习模型进行重新训练，或者手动触发对机器学习模型进行重新训练。

在基于固定周期触发对机器学习模型进行重新训练时，如每个月对机器学习模型进行重新训练，存在训练资源浪费和触发时机滞后等问题。比如说，在到达训练周期时，机器学习模型的性能比较好，此时对机器学习模型进行重新训练，会导致训练资源浪费。又例如，在未到达训练周期时，机器学习模型的性能比较差，此时未对机器学习模型进行重新训练，会导致触发时机滞后。

在手动触发对机器学习模型进行重新训练时，需要由用户决定何时对机器学习模型进行重新训练，即需要用户的人工参与，浪费人力资源，用户体验比较差，并且，也存在训练资源浪费和触发时机滞后等问题。

发明内容

本申请提供一种数据处理方法，所述方法包括：

将已获取的每个无标签图像输入给机器学习模型，由所述机器学习模型输出每个无标签图像对应的目标框和目标类别；

针对每个目标类别，对所述目标类别对应的所有目标框的无标签数据特征进行聚类，得到所述目标类别对应的至少一个无标签聚类中心；

针对每个无标签聚类中心，确定所述无标签聚类中心与所述目标类别对应的已获取的有标签聚类中心之间的距离；基于所述距离确定所述无标签聚类中心的伪标签类型，所述伪标签类型是正报类型或者误报类型；

基于所有目标类别对应的所有无标签聚类中心的伪标签类型，统计正报类型的伪标签类型的第一数量和误报类型的伪标签类型的第二数量；

基于所述第一数量和所述第二数量确定所述机器学习模型是否需要重新训练；若是，则对所述机器学习模型进行重新训练，得到训练后的机器学习模型，并基于所述训练后的机器学习模型对待检测图像进行数据处理。