[发明专利]信号处理装置、信号处理方法和程序

说明书

技术领域

本公开涉及信号处理装置、信号处理方法和程序。具体地，本公开涉及能够使得图像深度感和声音深度感协同工作的信号处理装置、信号处理方法和程序。

背景技术

在真人动作的电影或电视剧的拍摄中，为了改进台词的清晰度或使声音能够被配音成多种语言，执行以下操作。即，在记录台词时，将麦克风而非用于拍摄的摄像机的镜头布置在表演者附近，并且仅台词被选择性地记录。

另外，特别是在拍摄外景的情形中，为了避免周围环境声音和吹到麦克风的风的影响，通常后来在工作室中记录台词。

在采用这样的控制方法的情形中，存在图像距离感和台词距离感大体上不匹配的许多情形。此外，在动漫产品中，由于首先独立地执行图像创建和台词记录，所以存在图像距离感和台词距离感不匹配的许多情形。

在通过上述创建过程所创建的图像产品中，虽然在现有技术的2D产品中很少有奇怪的感觉，由于在3D产品的情形中增加了图像的深度表达，所以图像距离感和声音距离感显著不匹配并且3D图像体验的现实感减弱。

与此相对，建议使用3D图像深度信息来控制声场，并使得图像深度表达和声音深度表达协同工作（参见已公开的日本专利No.2011-216963）。在这个建议中，通过使用诸如立体匹配等方法从3D图像中找出图像深度信息或提取添加到图像的深度信息来获取图像深度信息，并基于所获取的信息，生成声音控制信号来控制声音。

发明内容

然而，如在已公开日本专利No.2011-216963中所公开的，在根据图像深度信息执行生成声音控制信息的处理并且使得图像深度感和声音深度感协同工作的情形中，例如，在深度结构随场景变化而变化或在低对比度的场景中通过立体匹配来获得深度信息等的情形中，可能无法肯定地说：控制结果产生良好的效果。

本公开是基于这样的情况而作出的并且能够有效地使得图像深度感和声音深度感协同工作。

根据本公开的实施例，提供了信号处理装置，该信号处理装置包括计算与动态图像信息相关的视差的最频值的视差最频值计算单元、从视差最频值计算单元所计算的最频值在时间方向上的变化中提取适合协作感知前后感的时间间隔的时间间隔提取单元、以及在时间间隔提取单元所提取的时间间隔中生成声音控制信号来控制与动态图像信息有关的声音信息的深度感的控制信号生成单元。

时间间隔提取单元可包含场景结构变化检测单元，该场景结构变化检测单元基于动态图像信息和视差最频值计算单元所计算的最频值来检测动态图像信息的场景结构中的变化，并且移除检测到变化的时间间隔。

场景结构变化检测单元可包括对视差最频值计算单元所计算的最频值进行时间微分的时间微分单元和对在时间微分单元中经历了时间微分的最频值进行非线性转换的非线性转换单元。并且控制信号生成单元可包括时间积分单元，该时间积分单元对在非线性转换单元中经历了非线性转换的最频值进行时间积分。

场景结构变化检测单元还可包括初始化判定单元，该初始化判定单元根据视差最频值计算单元所计算的最频值的绝对值的大小来初始化时间积分单元所进行的时间积分。

时间间隔提取单元可包括最频值可靠性判定单元，该最频值可靠性判定单元基于动态图像信息和视差最频值计算单元所计算的最频值来评估最频值的可靠性，并且移除最频值可靠性低的时间间隔。

最频值可靠性判定单元可包括对视差最频值计算单元所计算的最频值进行时间微分的时间微分单元和对在时间微分单元中经历了时间微分的最频值进行非线性转换的非线性转换单元。并且控制信号生成单元可包括时间积分单元，该时间积分单元对在非线性转换单元中经历了非线性转换的最频值进行时间积分。

信号处理装置还可包括计算视差的最大值的视差最大值计算单元和计算视差的最小值的视差最小值计算单元。最频值可靠性判定单元还可包括初始化判定单元，该初始化判定单元根据视差最大值计算单元所计算的最大值和视差最小值计算单元所计算的最小值之差的大小、最大值的时间变化和最小值的时间变化中的至少一个来初始化时间积分单元所进行的时间积分。

初始化判定单元可根据视差最频值计算单元所计算的最频值的绝对值的大小来初始化时间积分单元所进行的时间积分。

时间间隔提取单元可包括声音控制效果评估单元，该声音控制效果评估单元基于与动态图像信息有关的声音信息和视差最频值计算单元所计算的最频值来评估在动态图像信息控制声音信息的情形下的效果并且改变声音控制信号。