[发明专利]基于语义的智能视觉交互方法及系统

说明书

本发明公开了一种基于语义的智能视觉交互方法及系统，该方法包括：对于待生成的可视图像中的一个像素，从设置的虚拟视点出发，向像素的中心投射出一条视线，延长该条视线，以获取虚拟场景中视线所及的最近的实体；在预设的语义知识库中查找与实体对应的语义本体，并建立像素与语义本体的关联关系，以生成该像素的语义索引，语义本体为像素的语义信息的来源，并对该像素执行光线追踪以得到该像素的颜色值；按照预设的抽取语义信息的规则，抽取语义本体的部分语义信息作为像素的关联语义信息，并对可视图像中的每个像素，分别执行上述步骤，以生成语义图像；显示语义图像并进行语义交互。本发明实现了语义图像的生成，使视觉交互更智能、更有效。

技术领域

本发明涉及计算机技术领域，特别是涉及一种基于语义的智能视觉交互方法及系统。

背景技术

目前图像渲染技术主要分为基于图形的渲染技术和基于图像的渲染技术。基于图形的渲染技术是计算机图形学研究的经典课题，主要以几何模型和光照模型来表示场景，场景模型主要包括场景的几何信息、材质信息和光照信息等，常用的渲染技术是光线追踪技术；基于图像的渲染技术(Image-based rendering)是计算机图形学中一个较新的技术方向，他主要采用图像来表示场景，常用图像投影变形和插值技术实现新视点的图像渲染。计算机游戏和虚拟现实通常采用基于图形的渲染技术，由3D引擎实现图像渲染，应用开发有大量的场景建模工作量。

现有图像渲染系统的目标是生成符合人眼视觉感知特性的真实感图像，为单眼生成的图像是2D的图像，当需要呈现双目立体效果时，可以为左右眼分别渲染有视差的图像。

现有图像渲染系统，生成的图像只有像素颜色信息，图像中隐含的语义需要观察者的视觉感知系统提取出来。当观察者是人的时候，人眼感知图像中的色彩信息，通过视神经传入大脑，经过大脑的视觉感知处理，获得对图像的语义理解。从人眼到大脑视觉感知区的信息处理是基于人的生理机能和学习训练形成的认知能力。

在视觉交互中，涉及视觉感知的多个层面，除了低层的光亮度和色彩信号、中层的特征信息号，还有上层的语义信息感知。在基于视觉的人机交互过程中，不但需要可视的图像信息，也需要图像包含的语义信息，如果没有这些语义信息则交互效率大打折扣，然而现有渲染技术还无法得到具有语义信息的图像。例如在基于融合眼球追踪的VR(虚拟现实)应用中，系统能够获知人眼注视点的位置信息，但是因为现有图像渲染系统生成的图像只有色彩光影信息，不能提供注视点位置所关注的对象是什么，所以难以准确推断用户的视觉交互行为意图。

发明内容

为此，本发明的一个目的在于提出一种基于语义的智能视觉交互方法，以解决现有技术无法得到具有语义信息的图像的问题。

本发明提供一种基于语义的智能视觉交互方法，所述方法包括：

对于待生成的可视图像中的一个像素，从设置的虚拟视点出发，向所述像素的中心投射出一条视线，延长该条视线，以获取虚拟场景中视线所及的最近的实体；

在预设的语义知识库中查找与所述实体对应的语义本体，并建立所述像素与所述语义本体的关联关系，以生成所述像素的语义索引，所述语义本体为所述像素的语义信息的来源，并对所述像素执行光线追踪以得到所述像素的颜色值；

按照预设的抽取语义信息的规则，抽取所述语义本体的部分语义信息作为所述像素的关联语义信息，并对所述可视图像中的每个像素，分别执行上述步骤，以生成语义图像，所述语义图像包括可视图像、语义索引图像和语义信息；

显示所述语义图像并进行语义交互。

根据本发明提供的基于语义的智能视觉交互方法，在可视图像与语义信息之间建立了逐像素的关联关系，实现了语义图像的生成，在包含语义信息的场景表示中，针对当前视点渲染的时候，除了渲染生成可视图像，同时也能够生成该可视图像相关的语义信息，该可视图像、对应的语义信息以及两者的关联一起成为当前视点的语义图像，可满足观看、交互等处理的信息需求，并使交互等相关处理更智能、更有效。