[发明专利]彩色草图图像搜索

说明书

对于将要搜索的图像集合中的每个图像，该图像被表示为色边字集合，其中每个色边字包括位置信息、形状信息和颜色信息。该图像可基于色边字被索引。接收用户生成的草图作为查询并将其表示为色边字集合。相似性将表示草图的色边字集合与该图像索引进行比较以基于位置相似性、形状相似性和颜色相似性的组合来标识搜索结果。

背景

搜索图像是许多计算机用户执行的常见任务。例如，用户可经由互联网搜索大量可用信息来寻找特定地点或事物的图像。尽管搜索查询通常仅是基于关键字的，最近的技术进步已经使得其它选项成为可能。

绘制草图是人类彼此通信、记录其思想、以及自我表达的最自然的方式之一。触摸屏设备正变得越来越可用和流行，它们使得用户能够容易地输入手绘草图。技术进步还使得用户提交操作以被用作搜索与该草图类似的图像的基础成为可能。

一些“草图到图像”匹配技术主要考虑形状相似性或颜色相似性之一。然而，形状和颜色两者均传达图像中的重要信息。因此，主要基于形状信息来执行草图到图像匹配可能由于缺少对颜色信息的考虑而返回较差结果。类似地，主要基于颜色信息来执行草图到图像匹配可能由于缺少形状信息而返回较差结果。

概述

本文描述了彩色草图图像搜索。提供用户界面以使用户能够生成彩色草图并提交该草图作为搜索查询。要搜索的图像和用户提交的草图被表示为色边字集合。每个色边字包括位置信息、形状信息、以及颜色信息。要搜索的图像的集合可被索引，且匹配算法基于位置相似性、形状相似性和颜色相似性的组合来确定草图和图像之间的相似性得分。

提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本概述不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在被用来帮助确定所要求保护的主题的范围。例如，术语“工具”可以指上述上下文和通篇文档所准许的设备、系统、方法、和/或计算机可读介质。

附图简述

参考附图来描述具体实施方式。在附图中，附图标记最左边的数字标识该附图标记首次出现的附图。在各附图中，使用相同的标号来指示相同的特征和组件。

图1是可在其中实现彩色草图图像搜索的示例网络环境的框图。

图2是如图1中所示的示例色边字表示模块的精选组件的框图。

图3是示出局部片检测的插图。

图4是示出图像的示例色边字表示的插图。

图5是用于彩色插图图像搜索的强匹配实现的示例倒置索引的框图。

图6是用于彩色插图图像搜索的灵活匹配实现的示例倒置索引的框图。

图7是示例颜色传播和查询扩大的插图。

图8是用于生成查询草图的示例用户界面的插图。

图9是示出示例查询草图生成的插图。

图10是用于彩色草图图像搜索的示例过程的流程图。

图11是用于预处理数据库图像的示例过程的流程图。

图12是用于生成图像或草图的色边字表示的示例过程的流程图。

详细描述

绘制彩色草图作为图像查询的输入是用户传达其搜索兴趣的自然技术。当基于用户提交的草图执行搜索时，重要的是要考虑草图中包括的形状和颜色两者。