[发明专利]使用尖峰神经网络进行对象检测的方法、系统和程序产品

说明书

描述了一种使用尖峰神经网络进行对象检测的方法、系统和程序产品。使用尖峰神经网络根据具有颜色分量的输入图像的强度生成强度显著性映射。另外，使用尖峰神经网络根据输入图像中的多种颜色生成颜色显著性映射。通过组合强度显著性映射和多个颜色显著性映射来生成对象检测模型。对象检测模型用于检测输入图像中的多个关注对象。

政府许可权利

本发明是在美国政府合同号HR0011-09-C-0001的政府支持下完成的。政府拥有本发明的某些权利。

技术领域

本发明涉及对象检测系统，更具体地，涉及使用尖峰神经网络(spiking neuralnetwork)的对象检测系统。

背景技术

移动对象检测模型或运动模型擅长检测固定摄像头拍摄的视频中的移动对象(即，背景不移动)。然而，运动模型不善于检测移动摄像头拍摄的视频中的静止对象或移动对象，这是因为背景也在移动。

另一方面，显著性模型可以检测到显著的对象，无论在固定和移动摄像头视频中的对象是否移动。然而，传统的显著性模型仍然可能错过非显著但感兴趣的对象。受早期初级(primate)视觉系统的启发，Itti等人在IEEE Trans.on Pattern Analysis andMachine Intelligence,20(11),1254-1259的“A model of saliency-based visualattention for rapid scene analysis”(以下称为Itti 1998)中和Vision Research,40,1489-1506的“A saliency-based search mechanism for overt and covert shifts ofvisual attention”(以下称为Itti 2000)中，提出了一种检测图像中的显著点的显著性模型，这两篇文献都通过引用结合在此，如同在此完全阐述一样。它们的显著性模型通过从多个通道(例如，图像强度和颜色)构建显著性映射(saliency map)来找到显著点。然而，像其他显著性模型一样，它可能错过较不显著但感兴趣的对象。

因此，存在对可以检测视频(包括移动摄像头视频)中的显著和较不显著的关注对象的对象检测方法的持续需求。

发明内容

本发明涉及一种对象检测系统，更具体地，涉及一种使用尖峰神经网络的对象检测系统。该系统包括一个或更多个处理器和具有指令的存储器，使得当执行指令时，一个或更多个处理器执行多个操作。该系统使用尖峰神经网络根据具有颜色分量的输入图像的强度生成强度显著性映射。使用尖峰神经网络根据输入图像中的每个颜色分量生成颜色显著性映射。通过组合强度显著性映射和至少一个颜色显著性映射来生成对象检测模型。对象检测模型用于检测输入图像中的多个关注对象。

在另一方面，根据输入图像的强度生成多个尖峰(spike)。将多个尖峰与高斯核(Gaussian kernel)卷积以生成多个高斯映射(Gaussian map)，每个高斯映射具有不同的比例。根据多个高斯映射生成一组特征映射。通过将一组特征映射相加生成一组最终特征映射，并且通过将一组最终特征映射相加来生成强度显著性映射。

在另一方面，针对输入图像中的每个颜色分量生成多个尖峰。对于每个颜色分量，将多个尖峰与高斯核卷积以生成多个高斯映射，每个高斯映射具有不同的比例。对于每个颜色分量，根据多个高斯映射生成一组特征映射。对于每个颜色分量，通过将一组特征映射相加生成一组最终特征映射，并且对于每个颜色分量，通过将一组最终特征映射相加来生成颜色显著性映射。

在另一方面，对来自每个强度显著性映射和颜色显著性映射的尖峰进行累积，并且将阈值应用于所累积的尖峰。获得最终显著性尖峰活动，并且根据最终显著性尖峰活动获得对象检测盒。

在另一方面，根据输入图像的总强度对颜色分量进行归一化。

在另一方面，归一化包括针对亮图像增加尖峰活动。