[发明专利]物体间关系识别设备、学习模型、识别方法和计算机可读介质

权利要求书

1.一种物体间关系识别设备，所述物体间关系识别设备被配置为基于将图像和在所述图像中包括的物体之间的多个关系相关联的学习数据进行学习，并且使用学习结果来识别和输出在所述图像中包含的物体之间的所述关系，所述设备包括：

第一学习装置，所述第一学习装置被配置为接收所述图像并且输出指示所述图像的特征的第一特征量；

第二学习装置，所述第二学习装置被配置为接收从所述第一学习装置输出的所述第一特征量并且输出维数比所述第一特征量低的第二特征量，并且所述第二学习装置包括多个存储单元，所述多个存储单元在预定步长内保持内部状态；以及

三元组部，所述三元组部包括多个三元组-单元，所述三元组-单元被连接至所述第二学习装置的每个存储单元、接收从每个所述存储单元输出的所述第二特征量、由第一识别单元至第三识别单元构成、并且分别输出第一要素至第三要素的组合，所述第一识别单元至所述第三识别单元基于输入的所述第二特征量分别识别所述第一要素至所述第三要素、输出所述第一要素至所述第三要素的概率信息，

其中，所述三元组部基于从每个所述三元组-单元的所述第一识别单元至所述第三识别单元输出的所述第一要素至所述第三要素的所述概率信息，来从自每个所述三元组-单元输出的所述第一要素至所述第三要素的组合中选择所述第一要素至所述第三要素的至少一个组合，并且识别并输出所选择的第一要素至所述第三要素的组合，作为在所述图像中包含的物体之间的所述关系。

2.根据权利要求1所述的物体间关系识别设备，其中：

所述第二学习装置是递归神经网络，以及

所述第二学习装置和所述三元组部通过优化预定功能的参数，基于将所述图像和在物体之间的所述关系相关联的学习数据来进行所述学习，并且将优化后的参数保持为所述学习结果。

3.根据权利要求1或2所述的物体间关系识别设备，其中：

所述第一识别单元和所述第三识别单元分别将所述第一要素和所述第三要素的所述概率信息输出到第二识别单元，以及

所述第二识别单元基于从所述第一识别单元和所述第三识别单元输出的所述第一要素和所述第三要素、以及从所述第二学习装置的对应存储单元输出的所述第二特征量来识别第二要素，并且输出所述第二要素的所述概率信息。

4.根据权利要求1或2所述的物体间关系识别设备，

其中，所述第二学习装置的所述存储单元是长短期记忆网络LSTM(Long Short-TermMemory)。

5.根据权利要求1或2所述的物体间关系识别设备，

其中，所述第一学习装置被配置为卷积型神经网络。

6.一种通过物体间关系识别设备进行的识别方法，所述物体间关系识别设备包括：

第一学习装置，所述第一学习装置被配置为接收图像，输出指示所述图像的特征的第一特征量；

第二学习装置，所述第二学习装置被配置为接收从所述第一学习装置输出的所述第一特征量，输出维数比所述第一特征量低的第二特征量，并且所述第二学习装置具有在预定步长内保持内部状态的多个存储单元；以及

三元组部，所述三元组部包括多个三元组-单元，所述三元组-单元被连接至所述第二学习装置的每个存储单元、接收从每个所述存储单元输出的所述第二特征量、由第一识别单元至第三识别单元构成、并且分别输出第一要素至第三要素的组合，所述第一识别单元至所述第三识别单元基于输入的所述第二特征量来分别识别所述第一要素至所述第三要素、输出所述第一要素至所述第三要素的概率信息，

所述识别方法包括：

所述三元组部基于从每个所述三元组-单元的所述第一识别单元至所述第三识别单元输出的所述第一要素至所述第三要素的所述概率信息，从自每个所述三元组-单元输出的所述第一要素至所述第三要素的组合中选择所述第一要素至所述第三要素的至少一个组合，并且识别并输出所选择的所述第一要素至所述第三要素的组合作为在所述图像中包含的物体之间的所述关系。

7.一种计算机可读介质，所述计算机可读介质存储物体间关系识别设备的程序，所述物体间关系识别设备包括：

第一学习装置，所述第一学习装置被配置为接收图像，输出指示所述图像的特征的第一特征量；

第二学习装置，所述第二学习装置被配置为接收从所述第一学习装置输出的所述第一特征量，输出维数比所述第一特征量低的第二特征量，并且所述第二学习装置具有在预定步长内保持内部状态的多个存储单元；以及

三元组部，所述三元组部包括多个三元组-单元，所述三元组-单元被连接至所述第二学习装置的每个存储单元、接收从每个所述存储单元输出的所述第二特征量、由第一识别单元至第三识别单元构成、并且分别输出第一要素至第三要素的组合，所述第一识别单元至所述第三识别单元基于输入的所述第二特征量来分别识别所述第一要素至所述第三要素、输出所述第一要素至所述第三要素的概率信息，

其中，所述三元组部使计算机执行以下处理：

基于从每个所述三元组-单元的所述第一识别单元至所述第三识别单元输出的所述第一要素至所述第三要素的所述概率信息，从自每个所述三元组-单元输出的所述第一要素至所述第三要素的组合中选择所述第一要素至所述第三要素的至少一个组合，并且识别并输出所选择的所述第一要素至所述第三要素的组合作为在所述图像中包含的物体之间的所述关系。