[发明专利]用于校正语音的设备和方法

说明书

技术领域

在此描述的实施例大体涉及用于校正与移动图像相对应的语音的设备和方法。

背景技术

关于利用移动图像再生的语音，通过分析该移动图像，存在有用于基于分析结果校正语音的设备。

在传统的音频校正设备的技术中，通过检测移动图像中出现的人数，基于该人数，强调该语音或者控制它的方向性。

在另一个传统的音频校正设备的技术中，基于移动图像中出现的物体的位置或者使该物体成像的摄像机的移动状态，输出该语音以使物体的嗓音（或者声音）从物体的位置被发出。

然而，在这个音频校正设备中，对于移动图像的每个帧，单独校正该语音。因此，在一系列的场景中，关于不包括实际上发声的物体（人，动物、机动车等等）的帧，校正它的语音。

结果，在一系列的场景中，当包括物体实际上发声的帧和不包括该物体的另一个帧混合时，输出观众难以听见的语音。

发明内容

实施例提供了一种用于将与移动图像相对应的语音校正为观众容易听见的语音的设备和方法。

根据一个实施例，校正与移动图像相对应的语音的设备包括分离单元、推测单元、分析单元和校正单元。分离单元被配置为从所述语音的每个音频帧中分离至少一个音频成分。推测单元被配置为基于所述移动图像的每个图像帧的特征和所述每个音频帧的特征中的至少一个特征，在所述移动图像中推测包括关联的多个图像帧的场景。分析单元被配置为通过分析所述每个图像帧来获取所述多个图像帧的属性信息。校正单元被配置为基于所述属性信息来确定与所述多个图像帧相对应的所述音频成分的校正方法，并且通过所述校正方法来校正所述音频成分。

根据实施例，可以提供一种将与移动图像相对应的语音校正为观众容易听见的语音的设备和方法。

附图说明

图1是根据第一实施例的音频校正设备1的方框图。

图2是音频校正设备1的处理的流程图。

图3是适合于音频校正设备1处理的移动图像的一个实例。

图4是图1中的分离单元20的处理的流程图。

图5是图1中的推测单元30的处理的流程图。

图6是解释类似镜头（shot）的示意图。

图7是图1中的分析单元40的处理的流程图。

图8是图1中的校正单元50的处理的流程图。

图9是根据第二实施例的音频校正设备2的方框图。

图10是适合于音频校正设备2处理的移动图像的一个实例。

图11是图9中的推测单元31的处理的流程图。

图12是图9中的校正单元51的处理的流程图。

图13是适合于音频校正设备3处理的移动图像的一个实例。

图14是根据第三实施例的音频校正设备3的方框图。

图15是图14中的分离单元22的处理的流程图。

图16是图14中的推测单元32的处理的流程图。

图17是图14中的分析单元52的处理的流程图。

图18是图14中的校正单元52的处理的流程图。

图19是根据第四实施例的音频校正设备4的方框图。

图20是图19中的校正单元53的处理的流程图。

具体实施方式

（第一实施例）

第一实施例的音频校正设备1例如可用于诸如电视、个人电脑（PC）、平板式PC、智能手机等等的输出带有语音的移动图像的装置。

音频校正设备1校正与移动图像相对应的语音。该语音是相对应于该移动图像被再生的语音。这个语音包括至少一个音频成分。该音频成分是通过作为声源的各个物体发出的声音，诸如是人的发声、动物的发声、背景声音等等。

关于属于移动图像中的相同场景的图像帧，通过使用对每个图像帧通用的校正方法，该音频校正设备校正该语音。

结果，与移动图像相对应的语音被校正为观众容易听见的语音。此外，移动图像和语音通过时间信息被同步。

图1是音频校正设备1的方框图。该音频校正设备1包括获取单元10、分离单元20、推测单元30、分析单元40、校正单元50、合成单元60以及输出单元70。