[发明专利]一种基于三分图模型的图像块和标签匹配方法及系统

说明书

本发明提供了一种基于三分图模型的图像块和标签匹配方法及系统，包括：获取图像集及其对应的标签集；将图像集中的每幅图像分成若干图像块，对所有图像块进行聚类，将每个簇的质心作为一个视觉词，得到视觉词集；基于图像集和视觉词集，得到视觉词‑图像二分图；基于图像集和标签集，得到图像‑标签二分图；将所述视觉词‑图像二分图和所述图像‑标签二分图组合为三分图模型；基于三分图模型，计算视觉词与标签的相关性矩阵；对于每幅图像，基于视觉词与标签的相关性矩阵，构建排序矩阵，并基于排序矩阵，匹配每幅图像中的所有图像块的标签。充分发现了图像块和标签之间的内部联系。

技术领域

本发明属于图像块和标签匹配技术领域，尤其涉及一种基于三分图模型的图像块和标签匹配方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

近年来，众多用户每天在社交网站上分享图像。因此，越来越需要对图像的语义进行有效理解，这对提高图像检索、推荐和管理的性能大有裨益。由于对图像语义理解极其重要，图像标注在计算机视觉领域引起了越来越多的研究兴趣。

图像标注可以由机器或人类完成，但是，人工执行此类任务存在耗时、成本高且存在一定的歧义的问题。例如，由于教育背景、思维方式甚至生活经历的不同，不同的人对同一幅图像中的某个对象的理解可能完全不同。机器进行图像标注任务面临两大挑战：第一个是缩小低级视觉特征和高级语义标签之间的语义鸿沟；第二个是在训练数据中学习标签和图像区域之间的对应关系，然而，传统方法在不分析细粒度数据中的对应关系的情况下为整幅图像分配多个标签。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种基于三分图模型的图像块和标签匹配方法及系统，构建了一个三分图模型，通过信息扩散来充分发现图像块和标签之间的内部联系。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种基于三分图模型的图像块和标签匹配方法，其包括：

获取图像集及其对应的标签集；

将图像集中的每幅图像分成若干图像块，对所有图像块进行聚类，将每个簇的质心作为一个视觉词，得到视觉词集；

基于图像集和视觉词集，得到视觉词-图像二分图；基于图像集和标签集，得到图像-标签二分图；将所述视觉词-图像二分图和所述图像-标签二分图组合为三分图模型；

基于三分图模型，计算视觉词与标签的相关性矩阵；

对于每幅图像，基于视觉词与标签的相关性矩阵，构建排序矩阵，并基于排序矩阵，匹配每幅图像中的所有图像块的标签。

进一步的，所述视觉词-图像二分图中的每个元素表示图像集中的一幅图像与视觉词集中的一个视觉词之间的包含关系。

进一步的，所述图像-标签二分图中的每个元素表示图像集中的一幅图像与标签集中的一个标签之间的包含关系。

进一步的，所述基于排序矩阵，匹配每幅图像中的所有图像块的标签的具体方法为：

对于某幅图像，将排序矩阵内的所有元素进行升序排列，得到索引排序向量；

基于索引排序向量和排序矩阵，构造初始视觉词-标签匹配矩阵；

按照两个规则，对初始视觉词-标签匹配矩阵进行扫描，得到视觉词与标签的最终匹配矩阵，结合该图像的每个图像块对应的视觉词，得到每个图像块的标签。

进一步的，所述初始视觉词-标签匹配矩阵中的第一列的第i个元素代表为索引排序向量中的第i个元素在排序矩阵的行下标，初始视觉词-标签匹配矩阵中的第二列的第i个元素代表为索引排序向量中的第i个元素在排序矩阵的列下标。