[发明专利]对图像目标检测模型的输出进行可视化的方法和系统

说明书

本发明提出了一种对利用图像对应的文本训练的图像目标检测模型的输出进行可视化的系统和方法，其中，系统包括：接收模块，用于接收多个训练样本的图像和文本；类别抽取模块，用于抽取图像所包含的目标的类别；目标检测模块用于训练出图像目标检测模型，并利用训练出的模型抽取无标注训练样本的图像包含的目标的位置及类别；图像和类别双聚类模块用于对多个训练样本的图像和类别进行聚类，得到训练样本的图像的聚类结果，类别的聚类结果，以及图像和类别共现聚类结果；可视化模块用于显示图像的聚类结果中每个聚类的代表性图像、所述类别的聚类结果中的每个聚类的名称、以及图像与类别共现聚类结果中的每个共现聚类。

技术领域

本发明涉及图像中的目标检测，特别地，本发明涉及一种对利用图像对应的文本训练的图像目标检测模型的输出进行可视化的方法、计算机系统以及计算机可读存储介质。

技术背景

图像中的目标检测在很多领域都取得了巨大的成功，如自动驾驶、增强现实等。然而训练高性能图像目标检测模型需要大量标注数据，其代价十分昂贵。为此，现有技术使用图像和其对应的文本来训练图像目标检测模型。这些文本往往不需要标注即可获得，因此可以节省数据标注的代价。例如，医学图像往往伴随着医生给出的诊断报告(文本)。然而，由于文本中包含噪声，并且文本无法提供目标的准确位置信息，这样得到的图像目标检测模型性能往往不佳，需要用户提供一定的确认信息来去除文本中的噪声，以及纠正错误的检测结果，从而提高图像目标检测模型性能。

发明内容

根据本发明的一个方面，提出了一种对利用图像对应的文本训练的图像目标检测模型的输出进行可视化的系统，包括：接收模块，被配置为接收多个训练样本，所述多个训练样本中包含有限数量的有标注训练样本和多个无标注训练样本，一个无标注训练样本包含一个图像及其对应的文本，一个有标注训练样本包含一个图像及其对应的文本，以及图像中包含的目标及其位置；类别抽取模块，被配置为利用所述接收模块接收的多个训练样本对所述多个无标注训练样本中的每个训练样本中所包含的一段文本抽取所述多个无标注训练样本对应的图像所包含的目标的类别；目标检测模块，被配置为利用从所述类别抽取模块抽取的所述多个无标注训练样本对应的图像所包含的目标的类别，以及所述接收模块接收的所述有限数量的有标注训练样本和所述多个无标注训练样本的图像一起训练出图像目标检测模型，并利用训练出的图像目标检测模型抽取所述多个无标注训练样本的图像包含的目标的位置及类别；图像和类别双聚类模块，被配置为利用所述图像目标检测模块获得的所述多个无标注训练样本的图像包含的目标的位置及类别，以及所述接收模块接收的所述有限数量的有标注训练样本的图像包含的目标的位置及类别，对所述多个训练样本的图像和类别进行聚类，以得到所述多个训练样本的图像的聚类结果、类别的聚类结果、以及图像和类别共现聚类结果；以及可视化模块，被配置为显示所述多个训练样本的图像的聚类结果中每个聚类的代表性图像、所述类别的聚类结果中的每个聚类的名称、以及所述图像和类别共现聚类结果中的每个共现聚类。

根据本发明的另一个方面，提出了一种对利用图像对应的文本训练图像目标检测模型的输出进行可视化的方法，包括：接收多个训练样本，所述多个训练样本中包含有限数量的有标注训练样本和多个无标注训练样本，一个无标注训练样本包含一个图像及其对应的文本，一个有标注训练样本包含一个图像及其对应的文本，以及图像中包含的目标及其位置；利用接收的多个训练样本对所述多个无标注训练样本中的每个训练样本中所包含的一段文本抽取所述多个无标注训练样本对应的图像所包含的目标的类别；利用抽取的所述多个无标注训练样本对应的图像所包含的目标的类别，以及接收的所述有限数量的有标注训练样本和所述多个无标注训练样本的图像一起训练出图像目标检测模型；利用训练出的图像目标检测模型抽取所述多个无标注训练样本的图像包含的目标的位置及类别；利用获得的所述多个无标注训练样本的图像包含的目标的位置及类别，以及接收的所述有限数量的有标注训练样本的图像包含的目标的位置及类别，对所述多个训练样本的图像和类别进行聚类，以得到所述多个训练样本的图像的聚类结果、类别的聚类结果、以及图像和类别共现聚类结果；以及显示所述多个训练样本的图像的聚类结果中每个聚类的代表性图像、所述类别的聚类结果中的每个聚类的名称、以及所述图像和类别共现聚类结果中的每个共现聚类。