[发明专利]用于集中管理交互式机器中的人机接口传感器和执行器的装置和方法

说明书

技术领域

本发明总体上涉及用于提供交互式机器例如交互式显示机器中的传感器和执行器的集中管理的方法和装置。

背景技术

常规编程的交互式机器需要在机器中有定制设计的程序(通常称为“中间件”)来管理从传感器输入的数据并且控制对执行器的指令。创建这样的程序可能很麻烦，特别是当存在大量的传感器和执行器要进行控制时或当不同的传感器和/或执行器在系统中进行交换时。

存在试图提供通用的中间件编程平台的开源项目。例如，YARP(“YetAnother Robot Platform(又一个机器人平台)”)是用C++编写的用于使机器人中的传感器、处理器和执行器互连的开源软件包。YARP支持将机器人控制系统构建成以对等方式进行通信的程序集合，其中，可以交换可扩展族的连接类型以匹配程序员的需要。

包括YARP在内，不存在能够对使用诸如运动传感器等人机接口传感器的人机交互式机器有效地进行控制——包括实时地从这样的传感器中获取原始数据信息并且提取特征数据——的已知的中间件编程平台，已知的中间件编程平台也无法应对管理具有多个输入端的人机交互式机器并且保持低延迟以避免降低显示帧率和降低其他性能的挑战。

发明内容

根据本发明的一个方面，提供了一种编码有传感器中间件平台程序的计算机可读介质，该传感器中间件平台程序能够由处理器执行以创建用于对人机交互式机器中的至少一个传感器和至少一个执行器进行控制的中间件实现(middleware implementation)。中间件平台程序包括至少一个输入模块、中间件模块、滤波器模块和重建模块。每个输入模块被配置成从人机接口传感器获取原始数据。中间件模块被配置成从原始数据中提取特征提取数据，其中，特征提取数据是用于通过中间件实现来对人机交互式机器的操作进行控制的相关输入数据。滤波器模块被配置成对特征提取数据应用信号处理操作。重建模块被配置成将经滤波的特征提取数据转换成程序员能够访问的转换形式以创建中间件实现。人机接口传感器可以是运动捕捉相机，在该情况下，原始数据可以是全身骨骼数据，并且特征提取数据是全身骨骼数据的一部分。该骨骼数据的一部分的转换形式可以是根据所选3D传感器协议的分层数据。

输入模块、中间件模块、滤波器模块和重建模块可以是使用基于YARP编程平台(“YARP网络”)的网络协议来进行互连的程序模块。中间件平台程序还可以包括能够经由YARP网络与程序模块中的至少一个程序模块通信的至少一个实用程序；实用程序可以包括能够被执行以监测并控制在程序模块中的至少一个程序模块中运行的进程的程序代码。一种类型的实用程序是信道管理器程序，信道管理器程序与YARP网络通信并且能够被执行以对程序模块中的至少一个程序模块中的服务以及服务之间的连接进行监测，以及对服务应用一组YARP函数。信道管理器程序可以包括视图渲染器，当该视图渲染器被执行时，该视图渲染器对程序模块中的至少一个程序模块的服务和连接的视图进行渲染，该视图包括每个服务的IP地址、端口号和名称。

中间件平台程序还可以包括与程序模块中的其他服务程序通信的注册表服务程序；注册表包括存储有关于其他服务程序的信息的注册表数据库。

根据本发明的另一方面，提供了一种用于创建用于对人机交互式机器中的至少一个传感器和至少一个执行器进行控制的中间件实现的方法。该方法包括：从人机交互式机器的人机接口传感器获取原始数据；从原始数据中提取特征提取数据；对特征提取数据应用信号处理操作；以及将经滤波的特征提取数据转换成程序员能够访问的转换形式以创建中间件实现。

在对特征提取数据进行滤波之前，可以使特征提取数据通过一个或更多个缓冲器。可以在特征提取数据通过一个或更多个缓冲器的同时对特征提取数据执行延迟和校正检查。对特征提取数据进行滤波可以包括：对特征提取数据应用卡尔曼(Kalman)滤波。转换经滤波的特征提取数据的步骤可以包括：检验经滤波的特征提取数据并且将经滤波的特征提取数据解析成经检验的数据包。

可以通过使用基于YARP编程平台(“YARP网络”)的网络协议的中间件实现来传输数据，并且可以将经检验的数据包存储在YARP瓶中并经由YARP网络传输至至少一个输出模块，以用于执行人机交互式机器的操作。

附图说明

图1是根据一个实施方式的人机交互式虚拟全息显示机器的透视图。

图2(a)和图2(b)示出了由虚拟全息显示机器的处理器执行以将对象的虚拟3D全息图像显示在机器的金字塔形显示表面上的显示程序的步骤。