[发明专利]人物交互检测方法、神经网络及其训练方法、设备和介质

说明书

本公开提供了人物交互检测方法、神经网络及其训练方法、设备和介质，涉及人工智能领域，具体涉及计算机视觉技术和深度学习技术。该方法包括：对多个待检测图像的图像特征进行第一目标特征提取，以得到多个第一目标特征；对多个图像特征进行第一交互特征提取，以得到多个第一交互特征及其得分；基于多个第一交互特征各自的得分，在多个第一交互特征中确定至少一部分第一交互特征；基于至少一部分第一交互特征和多个图像特征确定多个第一动作特征；对多个第一目标特征进行处理以得到待检测图像中的多个目标的目标信息；对多个第一动作特征进行处理以得到待检测图像中的一个或多个动作的动作信息；以及将目标和动作进行匹配以得到人物交互检测结果。

技术领域

本公开涉及人工智能领域，具体涉及计算机视觉技术和深度学习技术，特别涉及一种人物交互检测方法、用于人物交互检测的神经网络的训练方法、用于人物交互检测的神经网络、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术:人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

图像人物交互关系检测任务，需要同时检测人体、物体以及他们的交互关系，对图像中有交互关系的人体-物体配对，输出人体，物体，动作三元组。该任务需要进行目标检测，并同时分类人体动作，在图像物体、人体拥挤时，非常具有挑战性。人物交互关系检测可应用在视频监控等领域，监管人体行为。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种人物交互检测方法、用于人物交互检测的神经网络的训练方法、用于人物交互检测的神经网络、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种人物交互检测方法，包括：获取待检测图像的多个图像特征；对多个图像特征进行第一目标特征提取，以得到多个第一目标特征；对多个图像特征进行第一交互特征提取，以得到多个第一交互特征和多个第一交互特征各自的得分；基于多个第一交互特征各自的得分，在多个第一交互特征中确定至少一部分第一交互特征；基于至少一部分第一交互特征和多个图像特征确定多个第一动作特征；对多个第一目标特征进行处理，以得到待检测图像中的多个目标的目标信息，其中，多个目标包括一个或多个人体目标和一个或多个物体目标；对多个第一动作特征进行处理，以得到待检测图像中的一个或多个动作的动作信息，其中，一个或多个动作中的每一个动作与一个或多个人体目标中的一个人体目标和一个或多个物体目标中的一个物体目标相关联；以及将多个目标和一个或多个动作进行匹配，以得到人物交互检测结果。