[发明专利]信息处理设备、信息处理方法、程序和记录介质

说明书

技术领域

本发明涉及适于应用在允许用户有效地观看显示在一个屏幕上的多幅图像的情况下的信息处理设备、信息处理方法、程序和记录介质。 

背景技术

现有技术中，多个组合图像被组合并且所述组合图像被显示在一个屏幕上。例如，同时显示多个图像时，通常使用画中画(picturein picture，PinP)功能来排列多个缩小图像或把以不同角度拍摄的子图像嵌入到主图像中。此时，输出主图像的音频或者子图像的音频。 

例如，日本未审查专利申请公开No.2005-29518公开了一种用于根据聚焦图像的绝对位置来定位声像(sound image)的技术。 

发明内容

在一个屏幕上显示多个图像时，没有考虑声像的定位。相应地，当一个屏幕上显示的主图像和子图像都包括特定主题时，很难本能地理解另一图像的哪个场景相应于一个图像的聚焦场景。例如，当足球运动员的缩放图像被显示为主图像并且足球场的全景图像被显示为子图像时，观众难以立即理解在缩放图像中所示的足球运动员在全景图像中的位置。 

考虑到这种情况，当包括特定主题的多个图像被同时显示在一个屏幕上时，期望实现有效地观看。 

根据本发明的一个实施例，当不同位置拍摄的第一图像和第二图像包括特定主题时，确定包括在所提供的第一和第二图像中的所述主题的特征值。基于所确定的特征值来检测所述主题的运动。根据 所检测的所述主题的运动来定位该主题的声像。 

利用这种配置，通过定位包含在图像中的主题的声像(此后称作声像的定位)，主题的运动被清晰地指示出来。相应地，当在一个屏幕上显示多个图像时，用户可轻易地理解该主题的运动而无需使用其眼睛跟踪包含在每个图像中的该主题的运动。 

根据本发明的一个实施例，声像的定位有利于帮助用户更容易地理解主题的运动。附图说明图1是示出根据本发明实施例的信息处理系统的布置示例的解释图；图2是示出根据本发明实施例的信息处理设备的内部配置例子的框图；图3是示出根据本发明实施例的图像处理部件的内部配置例子的框图；图4是示出根据本发明实施例的色域检测处理和图像组合处理例子的流程图；图5是示出根据本发明实施例的图像处理例子的流程图；图6是示出根据本发明实施例的音频处理例子的流程图；图7是示出根据本发明实施例的第一图像例子的解释图；图8是示出根据本发明实施例的第二图像例子的解释图；图9是示出根据本发明实施例的第一图像的色域分布例子的解释图；图10是示出根据本发明实施例的第二图像的色域分布例子的解释图；图11是示出根据本发明实施例的超过阈值的第一图像的色域例子的解释图；图12是示出根据本发明实施例的超过阈值的第二图像的色域例子的解释图； 图13是示出根据本发明实施例的共同超过阈值的第一和第二图像的色域分布的三维显示色域例子的解释图；图14是示出根据本发明实施例的共同超过阈值的第一和第二图像的色域分布的二维显示色域例子的解释图；图15是示出根据本发明实施例的从第二图像中除去预定色域(地面颜色)的例子解释图；图16A和16B是例示根据本发明实施例的组合图像例子的解释图；图17A和17B是例示根据本发明实施例的随时间变化的缩放图像的声像的定位位置的例子解释图；图18A和18B是例示根据本发明实施例的随时间变化的全景图像的声像的定位位置的例子解释图；图19是例示根据本发明另一实施例的在多个屏幕上显示图像的例子解释图；图20是例示根据本发明另一实施例的在可移动显示装置上显示图像的例子解释图；和图21是例示根据本发明另一实施例的同时显示三个或更多图像的例子解释图。 

具体实施方式

下面将参照图1至图18B描述本发明的实施例。将对一个例子进行描述，其中根据本发明实施例的信息处理设备被应用于能在一个屏幕上显示以不同角度(不同位置)和不同缩放水平(放大因子)拍摄的多个图像的信息处理系统1。 

图1例示了根据该实施例的信息处理系统1的布置。 

信息处理系统1包括拍摄第一场景并产生第一图像的第一摄像机3，以及拍摄小于第一场景的第二场景并产生第二图像的第二摄像机4。信息处理系统1还包括信息处理设备10，其基于第一摄像机3提供的第一图像和第二摄像机4提供的第二图像来产生组合图像， 以及输出装置6，其显示由信息处理设备10产生的图像。 

第一摄像机3和第二摄像机4采用不同的角度和缩放水平。输出装置6显示图像并输出声音。第一场景和第二场景包括一个特定主题。在该实施例中，假定第一摄像机3全景操作以拍摄并产生第一图像。第二摄像机4缩放操作以拍摄并产生第二图像。相应地，第一场景包括的范围宽于第二场景。