[发明专利]一种声视频融合监控方法

权利要求书

1.一种声视频融合监控方法，包括：

步骤1）、采集声频与视频信号，对所采集的信号进行调理；

步骤2）、对步骤1）所得到的、经过调理的信号做协同预处理；所述协同预处理包括对信号做压缩、滤波、去噪与增强；

步骤3）、对步骤2）所得到的信号是否同时包含声频信号与视频信号加以判断，当同时包含两种信号时，执行步骤4），若仅包含声频信号，则执行步骤5）；

步骤4）、对声频信号与视频信号做融合分析，根据融合分析的结果查找出所述声视频信号中所包含的目标信息，然后执行步骤6）；

步骤5）、对声频信号做独立的分析与处理，得到所述声频信号中所包含的目标信息，然后执行步骤6）；

步骤6）、根据步骤4）或步骤5）所得到的目标信息决定是否需要对摄像机的姿态进行调整，若需要调整，调整摄像机的姿态，然后重新执行步骤1）；其中，所述对摄像机的姿态进行调整包括调焦、补光、调整角度。

2.根据权利要求1所述的声视频融合监控方法，其特征在于，还包括：

步骤7）、对当前的声视频信号进行模式识别，以获取目标事件的包括关键词、时间、方位、类别、状态在内的语义信息；所述模式识别包括行为理解、判别控制和状态评估，其中，所述行为理解通过运动特征的提取，获取目标事件的关键词；所述判别控制根据行为理解的结果，进一步获取事件的时间、方位等信息，与对应的关键词阈值相比较，检测判断目标事件的类别；所述状态评估根据判别目标事件的类别，依据类别的预设特征值估计目标事件的重要度，根据估计结果给目标事件设定警告等级；

步骤8）、从经过模式识别的声视频信号中抓取关键信息和核心片段，将多个片段拼接和编辑形成一个反映监控信息的语义情报，将这些语义情报压缩后编码，最后通过网络实现传输。

3.根据权利要求1或2所述的声视频融合监控方法，其特征在于，所述的步骤4）包括：

步骤4-1）、从背景噪声数据库中抽取背景噪声数据，实现背景建模；其中，所述背景噪声数据库用于存储多种气象条件下、多种典型场景的背景噪声；所述气象条件包括风、雨、雪、雾在内的特殊气象条件，所述典型场景包括呼救、鸣笛、碰撞、爆炸、鸣枪、低空飞行、人群聚集；

步骤4-2）、从目标特征数据库中抽取多种目标特征信息，将这些目标特征信息与步骤4-1）中所建立的背景噪声模型相结合，得到虚拟目标特征；其中，所述目标特征数据库用于存储目标的特征信息，所述特征包括声频或视频信号的基本特征、变换域特征、统计特征、运动特征，以及这些特征在时间、空间、谱、相位等方面的信息；

步骤4-3）、对步骤2）生成的声视频信号与步骤4-2）生成的虚拟目标特征进行比对，实现对步骤2）生成的声视频信号的目标特征提取；

步骤4-4）、根据步骤4-3）得到的目标特征提取结果利用贝叶斯分析进行概率判断，通过最大后验概率发现所采集的声视频信号中所包含的事件；

步骤4-5）、对步骤4-4）中所检测到的目标采用基于目标特征和背景噪声模型的波束形成和波达方向估计方法，依据声信号传播规律计算开空间及封闭空间两类环境条件下运动声源目标所具有的能量、相位及多普勒效应以实现定位，确定该目标的坐标值；

步骤4-6）、对经过定位的目标进行跟踪。

4.根据权利要求3所述的声视频融合监控方法，其特征在于，在所述的步骤4-3）与步骤4-4）之间，还包括多次执行所述步骤4-1）—步骤4-3）。

5.根据权利要求3所述的声视频融合监控方法，其特征在于，在所述的步骤4-3）中，将声视频信号与虚拟目标特征比对的结果是一组目标特征值，将这些目标特征值按照相似度从高到低进行排序，排序结果中高于某一预先设定阈值的目标特征值为声视频信号的目标特征提取结果。

6.根据权利要求3所述的声视频融合监控方法，其特征在于，在所述的步骤4-6）中，所述跟踪包括根据传声器阵列确定的坐标值控制摄像机姿态，实现调焦、补光、调整角度。