[发明专利]适用于公路上的音视频采集、识别和监测的立体感知系统

权利要求书

1.一种适用于公路上的音视频采集、识别和监测的立体感知系统，其特征在于，包括多组立体感知组件和处理器模块，不同立体感知组件设置于公路的不同位置，且相邻两组立体感知组件的监测区域具有重叠部分；其中：

所述处理器模块中预设有第一机器学习模型和第二机器学习模型，所述第一机器学习模型用于接收视频信号并输出针对视频信号的解析结果，所述第二机器学习模型用于接收音频信号并输出针对音频信号的解析结果；

所述立体感知组件包括视频检测器和音频检测器；所述视频检测器用于采集监测区域内的视频检测信号，并输出至所述处理器模块；所述音频检测器用于采集监测区域内的音频检测信号，并输出至所述处理器模块；

所述处理器模块接收所述视频检测信号和所述音频检测信号，通过所述第一机器学习模型解析所述视频检测信号并输出针对所述视频检测信号的第一解析结果，通过所述第二机器学习模型解析所述音频检测信号并输出针对所述音频检测信号的第二解析结果；

根据所述第一解析结果和所述第二解析结果相融合后的检测信息获取与相应检测区域对应的立体感知结果。

2.根据权利要求1所述的适用于公路上的音视频采集、识别和监测的立体感知系统，其特征在于：

所述立体感知组件中还包括超声检测器，所述超声检测器用于对监测区域内的障碍物状态进行检测并输出超声检测结果至所述处理器模块；

所述处理器模块中预设有超声信号解析模型，所述超声信号解析模型解析所述超声检测结果以确定所述监测区域内的第一障碍物状态；

所述处理器模块还包括验证模块，所述验证模块接收所述第一机器学习模型输出的第一解析结果和所述超声信号解析模型输出的第一障碍物状态，并利用所述第一障碍物状态对所述第一解析结果进行验证，若所述第一障碍物状态与所述第一解析结果之间的一致性超过设定值时判定所述第一解析结果有效。

3.根据权利要求2所述的适用于公路上的音视频采集、识别和监测的立体感知系统，其特征在于：

所述立体感知组件中还包括红外检测器，所述红外检测器用于对监测区域内的障碍物状态进行检测并输出红外检测结果至所述处理器模块；

所述处理器模块中预设有红外信号解析模型，所述红外信号解析模型解析所述红外检测结果以确定所述监测区域内的障碍物状态；

所述验证模块还用于接收所述第一机器学习模型输出的第一解析结果和所述红外信号解析模型输出的障碍物状态，并利用所述障碍物状态对所述第一解析结果进行验证，若所述障碍物状态与所述第一解析结果之间的一致性超过设定值时判定所述第一解析结果有效。

4.根据权利要求1所述的用于公路上的音视频采集、识别和监测的立体感知系统，其特征在于：

所述处理器模块中还设置有训练样本存储单元；所述训练样本存储单元用于存储训练样本数据，所述训练样本数据包括样本视频数据和样本音频数据；所述样本视频数据用于对所述第一机器学习模型进行训练；所述样本音频数据用于对所述第二机器学习模型进行训练。

5.根据权利要求4所述的用于公路上的音视频采集、识别和监测的立体感知系统，其特征在于：

所述处理器模块中还设置有测试样本存储单元；所述测试样本存储单元用于存储测试样本数据，所述测试样本数据包括视频测试数据和音频测试数据；所述视频测试数据用于对训练好的所述第一机器学习模型进行测试；所述音频测试数据用于对训练好的所述第二机器学习模型进行测试。

6.根据权利要求1-5任一项所述的用于公路上的音视频采集、识别和监测的立体感知系统，其特征在于，还包括：

太阳能电池组件，所述太阳能电池组件的电能输出端与立体感知组件和处理器模块的电源端电连接；和/或，

风能电池组件，所述风能电池组件的电能输出端与立体感知组件和处理器模块的电源端电连接。