[发明专利]表情输出装置和表情输出方法

说明书

技术领域

本发明涉及输出与脸部表情有关的信息。

背景技术

用于输出与脸部表情有关的信息的发明包括例如在专利文献1和2中公开的发明。在专利文献1中公开的发明通过设置在车内的摄像机对驾驶员的整个脸部进行采集来设置光流（optical flow），并且通过将预先存储的脸部表情图案与设置的光流进行对照来确定驾驶员的脸部表情。在专利文献2中公开的发明通过附接至人所佩戴的头盔的多个摄像机来采集其上具有标记的人的脸部。本发明分析在摄像机所采集的图像中的标记的位置，基于分析结果生成表示脸部的模型，并且输出该模型。

现有技术文件

专利文献

专利文献1：JP-A-2005-182375

专利文献2：JP-A-2009-506442

发明内容

本发明解决的问题

在专利文献1中所公开的发明中，摄像机被固定在车内当驾驶员面朝前时对驾驶员的脸部进行采集的位置。当驾驶员转动他/她的脸或将他/她的头移至不同位置时，摄像机无法采集整个脸部并且无法确定脸部表情。针对这个问题，在专利文献2中公开的发明中，即使人移动并且/或者转动他/她的脸部，多个摄像机针对具有标记的脸部的相对位置也保持不变，这是因为摄像机与脸部在特定的方向和/或距离内一起移动。也就是说，该发明可以一直输出佩戴头盔的人的脸部表情。然而，在专利文献2中公开的发明中，为了输出表示他/她脸部表情的模型，必须采集脸上的标记，这给此人带来了不便。

本发明的目的是使得即使用户移动也能获得与脸部表情有关的信息，而无需用户在他/她的脸上保留标记。

解决问题的手段

根据本发明的一个实施方式的输出与脸部表情有关的信息的装置包括：安装在用户的头部上的框；成像单元，其附接至所述框并且从预定方向采集表示所述用户的脸部的图像；转换单元，其将所述成像单元采集的图像的表示所述用户的脸部的预定部分的一部分的坐标转换为按照与在所述成像单元中采用的投影方法不同的投影方法从与所述预定方向不同的方向采集的所述脸部的图像的坐标；识别单元，其基于经所述转换单元转换的坐标来识别所述用户的脸部表情；以及输出单元，其输出表示由所述识别单元识别的脸部表情的图像。

在优选实施方式中，所述框为眼镜框的形状，所述成像单元中的视角是所采集的图像至少表示了所述脸部的所述预定部分的视角，并且所述装置还包括发送单元，所述发送单元将由所述输出单元输出的图像发送至另一设备。

在另一个优选实施方式中，所述转换单元利用映射变换将所述图像的表示所述脸部的所述预定部分的那部分映射为预定平面上的图像，并且将映射在所述预定平面上的图像的表示所述脸部的所述预定部分的那部分中的坐标转换为所述脸部的所述预定部分的从与所述预定方向不同的方向采集的图像中的坐标。

在另一个优选实施方式中，所述识别单元利用与所述脸部在经所述转换单元转换的图像中的方向相对应的算法来识别所述脸部表情。

在另一个优选实施方式中，所述输出与脸部表情有关的信息的装置还包括：由用户进行操作的操作单元，以及区域确定单元，其基于经由所述操作单元进行的操作来确定在由所述成像单元采集的图像中被指定的区域，其中，所述转换单元对所述成像单元采集的图像的被所述区域确定单元确定的区域中的一部分进行转换。

在另一个优选实施方式中，所述输出与脸部表情有关的信息的装置还包括：存储单元，其预先存储有按照与所述成像单元中采用的投影方法不同的投影方法从与所述预定方向不同的方向采集的所述脸部的图像，其中，所述转换单元确定由所述成像单元采集的图像所表示的所述脸部的与由存储在所述存储单元中的图像所表示的所述脸部的特征点相对应的特征点，并且基于由所述成像单元采集的图像中的所确定的特征点的坐标以及存储在所述存储单元中的图像中的与所确定的特征点相对应的特征点的坐标，来求出用于将由所述成像单元采集的图像中的坐标转换为从与所述预定方向不同的方向采集的图像中的坐标的计算方法。