[发明专利]多图像场景中的元数据

说明书

技术领域

本公开涉及将元数据包括在场景的图像中，并且特别是将之包括在使用图像处理技术从拼接在一起的多个单独捕获的图像创建的合成图像中。

背景技术

街景服务是捕获公共道路等周围的风景的图像以便使这些图像在线可用的服务。这些服务为用户提供了遍历真实世界的虚拟化视图的能力。典型地，安装在小汽车和诸如自行车等的潜在其他行进方式上的图像捕获设备被用于系统地收集贯穿世界某个部分——诸如给定的城镇、城市、县郡、州或甚至整个国家——的道路周围的风景的多个图像。为构建虚拟化视图，使用已知的全景图像处理技术将所收集的图像中相邻的图像“拼接”在一起。典型地，使这种虚拟化视图（经由互联网）在线可用。

例如，由街景服务的图像收集车捕获的每个图像典型地与记录该图像被捕获处的定位的相应定位数据（例如，在GPS坐标方面）相联系，并且该定位数据可以进而与在线地图绘制服务的地图相联系。这允许使该虚拟化视图通过地图绘制服务作为前端可访问。然后，用户可以通过在他或她的智能电话、平板电脑、膝上型计算机或台式计算机等上运行的浏览器或专用app访问地图绘制服务来访问虚拟化视图。例如用户可以将图标拖放到在线地图上显示的街道上的具体位置上，并且作为响应，在线服务然后向用户呈现从所选择的位置开始的周围环境的可导航虚拟视图。此外，定位数据允许在虚拟化视图中添加附加信息，例如作为覆盖图像。当前这被用于向用户显示拍摄图像处的坐标，以及显示图像中可见的建筑物的街道地址或名称。

在各种管辖中，应用了隐私或其他规定，要求对例如牌照和面部的图像进行模糊化。因此，为符合这样的管辖中的各种隐私规定，对图像进行处理以自动检测牌照和面部并使这些模糊。另外，由于国家安全和其他原因，某些建筑物或细节将不会被捕获或将基于人工请求而在稍后阶段被删除。此外，用户可以请求虚拟化视图中的元素被审查或移除。一个示例将是其尸体在街景服务中可见的被谋杀孩子的父母，或者在从齐眼高度（eye level）不可见、但被图像收集车上的高架摄像机等捕获的在其装有大门的后院中的日光浴者等。

为移除或模糊化街景服务的虚拟化视图中的对象，可以自动分析图像以检测某些预定类型的对象，诸如牌照和人脸。此外，可以人工核查和审查图像，或者可以基于比如定位的元数据（例如，基于所捕获的GPS坐标）将图像标记为被审查的，使得服务自动遮蔽或移除与相关元数据相关联的任何图像。

发明内容

然而，这些方法中的每一种方法都具有一个或多个缺点，诸如资金成本、成功率（误报和/或漏报）、对产品的影响、对当地规则的遵守等。例如，当前的被用于使牌照和面部模糊化的自动图像处理工具并不完美。因未能遵守而导致的可能的罚款以及对用户请求的人工处理的成本是不期望的。因此，现有技术是低效、易于出错和/或非用户友好的。

然而，对隐私越来越多的需求驱使公民要求更多的隐私保护。同时，街景服务的附加价值是明显的，并且越来越多数量的人利用这些服务。对于企业，这些服务提供了向（潜在）客户提供信息的有价值的替代方案。

因此，期望提供用于处理在公共空间等中捕获的图像数据的更先进的方法。

根据本文公开的一个方面，提供了包括拼接模块的图像处理设备（例如服务器），其中拼接模块被配置为接收物理空间的第一区域的第一图像和所述物理空间的第二区域的第二图像，并确定第一图像和第二图像之间的空间关系，并由此将第一图像和第二图像拼接在一起成为包括从第一图像导出的第一区块和从第二图像导出的第二区块的合成图像（注：第一区块和第二区块通常将部分重叠）。该图像处理设备还包括信号检测模块，其被配置为检测嵌入的信号，所述嵌入的信号在第一图像的捕获时已经被嵌入到照亮所述物理空间的所述第一区域的至少一部分的光中，所述嵌入的信号传达与所述物理空间的至少一部分有关的元数据。优选地，信号检测模块通过从第一图像本身检测嵌入的信号（即，在第一图像中捕获该信号并从中提取该信号）来做到这一点，但是替代地可以通过使用与第一图像的捕获相关联地操作的单独光传感器来检测该信号。用任意方式，信号检测模块被配置为：基于检测到的元数据，将效果应用于合成图像的第一区块的至少一部分，并且还基于检测到的元数据以及基于所确定的第一图像和第二图像之间确定的空间关系， 将效果应用于延伸超出第一区块的、该合成图像的第二区块的至少一部分（即，不与第一区块重叠的部分）。