[发明专利]用于事件检测、定位和分类的视觉-听觉监测系统

权利要求书

1.一种监测系统(1)，所述监测系统(1)用于通过计算系统对监测区(60)中的事件进行定位和分类，特别是识别建筑物或设施处的异常，所述监测系统(1)包括：

·视觉3D捕获单元(20)，所述视觉3D捕获单元(20)被配置为捕获并提供所述监测区(60)的几何3D信息(21)，以及

·听觉捕获单元(10)，所述听觉捕获单元(10)具有麦克风阵列并且被配置为得出并提供所述监测区(60)的听觉信息(11)，

其特征在于

·事件检测器(9)，所述事件检测器(9)被配置有听觉通道(12)和视觉通道(22)，以检测所述事件(18、28)并确定所述事件(18、28)的定位，其中

o所述听觉通道(12)被提供有所述听觉信息(11)，并且被配置为：

检测所述听觉信息(11)中作为声音事件(18)的事件，特别是通过检测到所述听觉信息(11)中具有超出水平阈值的情况和/或检测到所述听觉信息(11)中的特性签名来检测所述听觉信息(11)中作为声音事件(18)的所述事件，所述水平阈值优选是动态调整的水平阈值，并且

基于所述听觉信息(11)确定所述声音事件(18)在所述监测区(60)中的定位(18b)，

和/或

o所述视觉通道(22)被提供有所述几何3D信息(21)，并且被配置为：

检测所述几何3D信息(21)中作为视觉事件(28)的事件，特别是通过检测所述几何3D信息(21)中的视觉变化和/或几何变化来检测所述几何3D信息(21)中作为视觉事件(28)的所述事件，并且

基于所述几何3D信息(21)得出所述视觉事件(28)在所述监测区(60)中的定位(28b)，

其中，所述事件检测器(9)被配置为向所检测的事件(18、28)提供关注区域(31)，所述关注区域(31)包括所检测的事件(18、28)的定位(18b、28b)和时间信息(18a、28a)，

以及

·分类器(40)，所述分类器(40)被提供有

o所述几何3D信息(21)，

o所述听觉信息(11)，以及

o所述关注区域(31)，并且

所述分类器(40)被配置为通过处理所述关注区域(31)内的所述听觉信息(11)和所述几何3D信息(21)来分析所述关注区域(31)，以便将所检测的事件(18、28)指派到多个事件类中的类。

2.根据权利要求1所述的监测系统(1)，其特征在于，

所述分类器(40)被配置为对所述关注区域(31)内的所述听觉信息(11)以及所述关注区域(31)内的所述视觉信息(21)两者单独地进行分类，特别是其中，基于所述听觉信息(11)和所述视觉信息(21)的事件类的匹配以及所述听觉信息(11)和所述视觉信息(21)的相应定位(18b、28b)和/或时间(18a、28a)的接近度来组合单独的分类结果。

3.根据权利要求1或2所述的监测系统(1)，其特征在于，

所述分类器(40)被配置为在多模态分类器中对所述关注区域(31)内的所述听觉信息(11)和所述几何3D信息(21)进行联合分类，特别是对所述关注区域(31)内的所述听觉信息和几何信息进行传感器融合分类。

4.根据权利要求1至3中任一项所述的监测系统(1)，其特征在于，

在检测到所述事件(18、28)后，所述分类器(40)被配置为通过朝向所检测的事件(18、28)的所述定位(18b、28b)并且在所检测的事件(18、28)周围的有限时间间隔内应用数字声波束整形来分析所述听觉信息(11)，

特别是其中，所检测的视觉事件的定位(18b)将所述听觉捕获单元(10)配置为从所述监测区(60)中的所述关注区域(31)处的有限子区域内得出所述听觉信息(11)。

5.根据权利要求1至4中任一项所述的监测系统(1)，其特征在于，

所述视觉3D捕获单元(20)被配置有激光测距仪，所述激光测距仪优选地在两个轴线上具有能够枢转的测量方向，特别是其中，所述视觉3D捕获单元(20)被配置为具有至少半圆顶扫描范围的激光扫描器，所述激光扫描器被配置为得出所述监测区(60)的点云。