[发明专利]对图像目标检测模型的输出进行可视化的方法和系统

权利要求书

1.一种对利用图像对应的文本训练的图像目标检测模型的输出进行可视化的系统，包括：

接收模块，被配置为接收多个训练样本，所述多个训练样本中包含有限数量的有标注训练样本和多个无标注训练样本，一个无标注训练样本包含一个图像及其对应的文本，一个有标注训练样本包含一个图像及其对应的文本，以及图像中包含的目标及其位置；

类别抽取模块，被配置为利用所述接收模块接收的多个训练样本对所述多个无标注训练样本中的每个训练样本中所包含的一段文本抽取所述多个无标注训练样本对应的图像所包含的目标的类别；

目标检测模块，被配置为利用从所述类别抽取模块抽取的所述多个无标注训练样本对应的图像所包含的目标的类别，以及所述接收模块接收的所述有限数量的有标注训练样本和所述多个无标注训练样本的图像一起训练出图像目标检测模型，并利用训练出的图像目标检测模型抽取所述多个无标注训练样本的图像包含的目标的位置及类别；

图像和类别双聚类模块，被配置为利用所述图像目标检测模块获得的所述多个无标注训练样本的图像包含的目标的位置及类别，以及所述接收模块接收的所述有限数量的有标注训练样本的图像包含的目标的位置及类别，对所有训练样本的图像和类别进行聚类，以得到所述多个训练样本的图像的聚类结果、类别的聚类结果、以及图像和类别共现聚类结果；以及

可视化模块，被配置为显示所述多个训练样本的图像的聚类结果中每个聚类的代表性图像、所述类别的聚类结果中的每个聚类的名称、以及所述图像和类别共现聚类结果中的每个共现聚类。

2.如权利要求1所述的系统，其中图像和类别双聚类模块被进一步配置为利用获得的多个训练样本中每个训练样本中的图像包含的目标位置及目标的类别，计算每一个图像和每一个类别之间的共现关系，以及获得所述多个训练样本的图像的聚类结果，类别的聚类结果，以及图像和类别共现聚类结果。

3.如权利要求2所述的系统，其中每一个图像和每一个类别之间的共现关系与每一个图像和每一个类别之间的共现频率相关，多个图像和多个类别之间的共现关系用共现频率矩阵来表示，所述图像和类别共现聚类结果是通过最小化所述共现频率矩阵中每个参数与其所属共现聚类中心对应的参数的距离之和获得。

4.如权利要求1所述的系统，其中类别抽取模块被进一步配置为利用所述有限数量的有标注训练样本训练类别抽取模型，以及利用所述类别抽取模型抽取出所述无标注训练样本的图像所包含的目标的类别。

5.如权利要求1-4之一所述的系统，其中所述可视化模块被进一步配置为响应于所述接收模块接收所述可视化模块显示的某一类别聚类名称，显示所述类别聚类名称对应的未标注训练样本的文本。

6.如权利要求5所述的系统，其中响应于所述接收模块接收对所述可视化模块显示的部分未标注训练样本的文本的修改，所述类别抽取模块使用对所述可视化模块显示的部分未标注训练样本的文本的修改来更新所述无标注训练样本，获得更新的类别抽取模型，从而使所述目标检测模块获得更新的图像目标检测模型。

7.如权利要求1-4之一所述的系统，其中所述可视化模块被进一步配置为响应于所述接收模块接收所述可视化模块显示的某一图像聚类，显示所述图像聚类对应的未标注训练样本的图像包含的目标的位置及类别。

8.如权利要求7所述的系统，其中响应于所述接收模块接收对部分未标注训练样本的图像包含的目标位置或类别的修改，所述图像目标检测模块使用所述对未标注训练样本的图像包含的目标位置或类别的修改，获得更新的图像目标检测模型。