[发明专利]使声学渲染适应基于图像的对象

说明书

提供了一种用于使音频源的声学渲染适应基于图像的对象的视觉渲染的方法和处理器系统。这种视觉渲染可以在虚拟现实(VR)中或在增强现实(AR)中。可以对该基于图像的对象进行建模，并且可以在包含该音频源并且与该视觉渲染相关联的声学场景中建立表示该所建模的对象的音频对象。可以为该音频对象分配混响和/或吸收性质，并且可以使该声学渲染适应该音频对象。这样，该声学渲染可以适应基于图像的对象，并且用户可以将该声学渲染感知为更好地匹配该视觉渲染。

技术领域

本发明涉及一种使音频源的声学渲染适应对象的视觉渲染的方法。该视觉渲染是提供给用户的基于图像的渲染，其中该视觉渲染是包括该对象的该基于图像的表示的场景的基于图像的表示的虚拟现实(VR)渲染和该对象的该基于图像的表示相对于现实生活场景的增强现实(AR)渲染中的一种。

本发明进一步涉及一种包括用于执行该方法的指令的计算机程序。本发明进一步涉及一种用于生成元数据以用于使音频源的声学渲染适应包括对象的场景的视觉渲染的处理器系统，以及一种用于基于该元数据来适应音频源的声学渲染的处理器系统。本发明进一步涉及一种包括该元数据的计算机可读介质。

背景技术

虚拟现实(VR)涉及使用计算机技术来模拟用户在虚拟环境中的物理存在。通常，VR渲染设备利用头戴式显示器(HMD)向用户渲染虚拟环境，尽管还可以使用其他类型的VR显示器和渲染技术，包括但不限于全息术和洞穴状自动虚拟环境。

VR可以用于渲染由三维(3D)图形表示(例如，被定义为一组顶点、边、面等)的场景。

然而，在许多情况下，也可能期望在VR中渲染场景的基于图像的表示。在这种情况下，场景可以由数字图像或平铺的或以其他方式分割的数字图像集来表示。例如，数字图像可以是现实生活场景的照片、或者是通过虚拟场景的计算机生成图像(CGI)获得的数字图像等。在一些情况下，(多个)数字图像可以表示全向图像，该全向图像可以提供场景的大视场，例如，允许用户在场景内“环顾四周”。

对场景的这种基于图像的表示的渲染可以涉及将(多个)数字图像的图像数据投影到虚拟主体(比如球体)上，并然后从该虚拟主体内的或面向该虚拟主体的视点进行渲染。

例如，在VR中的多用户通信会话中，会议室的照片可以用作该多用户通信会话的“虚拟背景”，方法是将该照片投影到球体内部并将表示该多用户通信会话的用户的化身放置在该球体内部，从而为每个用户提供从该会议室内部的视图。另一个示例是，可以在VR中显示场景位置的全向图像以向用户提供实际出现在该场景位置的印象。

然而，在VR中渲染场景的基于图像的表示的问题是，如果单独的音频源与场景的视觉渲染一起渲染，则用户可能会体验到声学渲染与视觉渲染不匹配并且可能不逼真并且从而可能在VR中获得不太沉浸式的体验。这里，术语“单独的”是指不表示场景的听觉分量的音频源，例如，没有被记录在与视觉渲染中所示的场景相同的场景中。这种音频源的示例是多用户通信会话的用户之一的音频记录，该音频记录可以被记录在用户的家庭-办公室环境中并且然后在会议室的前述虚拟背景中以VR再现。

发明人已经认识到，这种不匹配的原因是，在现实生活场景中，场景内的音频源的声波将与场景中的对象相互作用，例如，通过从这些对象的表面反弹。这种相互作用在上述示例中可能是缺失的。

类似的问题也可能发生在增强现实(AR)(其中可以渲染和显示对象的基于图像的表示以增强用户对现实世界场景的实时视图)中。例如，用户可以在戴着头戴式耳机的同时佩戴AR设备，比如AR眼镜。在许多情况下，单独的音频源与对象的视觉渲染一起渲染，比如例如提供关于所视觉渲染的对象的信息的画外音、或者由对象产生和/或发出的声音。此外，在这种情况下，用户还可能体验到声学渲染与视觉渲染不匹配，例如，由于音频源的声波不与对象的(多个)表面相互作用。