[发明专利]物体间关系识别设备、学习模型、识别方法和计算机可读介质

说明书

本发明涉及物体间关系识别设备、学习模型、识别方法和计算机可读介质。一种物体间关系识别设备，包括：第一学习装置，其接收图像并且输出图像的第一特征量；第二学习装置，其接收第一特征量并输出第二特征量，并且具有在预定步长内保持内部状态的多个存储单元；三元组部，其具有多个三元组‑单元，该三元组‑单元接收第二特征量并识别第一至第三要素，并且三元组部由输出概率信息的第一至第三识别单元构成。三元组部基于从各个三元组部的第一至第三识别单元输出的第一至第三要素的概率信息，从各个三元组部输出的第一至第三要素的组合中选择第一至第三要素的至少一个组合，并且识别并输出该组合作为物体之间的关系。

背景技术

本公开涉及用于识别图像中包含的物体之间的关系的物体间关系识别设备、学习模型、识别方法、以及程序。

众所周知，存在一种物体间关系识别设备，其学习图像中包含的物体之间的多种关系，并且基于学习结果识别并输出物体之间的关系(例如，参见Yuval Atzmon,JonathanBerant,Vahid Kezami,Amir Globerson,Gal Chechik,Learning to generalize to newcompositions in image understanding,arXiv preprint arXiv；1608.07639,2016)。

发明内容

上述的物体间识别设备提取图像中包含的物体之间的所有关系，然后输出物体之间的关系。因此，输出物体之间的关系可能需要时间。

已经提出本公开以解决这个问题，并且本公开的主要目的在于提供一种物体关系识别设备、学习模型、识别方法以及程序，其通过顺序地识别图像中包含的物体之间的关系，能够在短时间内输出物体之间的关系。

为了实现上述目的，第一个示例性方面是一种物体间关系识别设备，其基于将图像和图像中包含的物体之间的多种关系相关联的学习数据进行学习，并且使用学习结果识别和输出图像中包含的物体之间的关系，该设备包括：

第一学习装置，该第一学习装置配置为接收图像并且输出指示图像的特征的第一特征量；

第二学习装置，该第二学习装置配置为接收从第一学习装置输出的第一特征量并输出维数比第一特征量低的第二特征量，并且第二学习装置包括在预定步长内保持内部状态的多个存储单元；以及

三元组部，该三元组部包括多个三元组-单元，该三元组-单元连接至第二学习装置的每个存储单元并且接收从每个存储单元输出的第二特征量，三元组-单元由第一至第三识别单元构成并且分别输出第一至第三要素的组合，第一至第三识别单元基于输入的第二特征量分别识别第一至第三要素并且输出第一至第三要素的概率信息，

其中，三元组部基于从每个三元组-单元的第一至第三识别单元输出的第一至第三要素的概率信息，从每个三元组-单元输出的第一至第三要素的组合中选择第一至第三要素的至少一个组合，并且识别并输出所选择的第一至第三要素的组合，作为图像中包含的物体之间的关系。

在此方面，第二学习装置可以是递归神经网络；以及，第二学习装置和三元组部可以基于将图像和物体之间的关系相关联的学习数据通过优化预定功能的参数来进行学习，并且将优化后的参数保持为学习结果。

在此方面，第一和第三识别单元可以分别将第一和第三要素的概率信息输出到第二识别单元；以及，第二识别单元可以基于从第一和第三识别单元输出的第一和第三要素以及从第二学习装置的对应存储单元输出的第二特征量来识别第二要素，并且可以输出第二要素的概率信息。

在此方面，第二学习装置的存储单元可以是LSTM(Long Short-Term Memory：长短期记忆网络)。

在此方面，第一学习装置可以配置为卷积型神经网络。

为了实现上述目的，另一个示例性方面可以是一种用于实现计算机功能的学习模型，其包括：