[发明专利]基于语义模型的消防运维阶段人员异常检测装置和方法

权利要求书

1.一种基于语义模型的消防运维阶段人员异常检测装置，包括：视频处理模块，行为判定模块，领域模型抽取模块、运维语义模型构造模块、异常行为检查模块和用户界面模块，其特征在于：

视频处理模块用于获取本地视频流或者RSTP格式的直播视频流信息；服务器定时从每个视频流截取视频帧，创建工作空间存储视频帧并记录视频帧时间戳以及视频来源；

行为判定模块用于实现图像中人员行为判定，为运维语义信息生成提供技术准备；行为判定模块对消防运维阶段人员检测关注的目标区域进行检测，检测工作人员的行为信息；

领域模型抽取模块用于实现消防运维领域的子模型抽取；抽取消防运维阶段关注的建筑信息，分别分为实体、关系和属性；领域模型抽取模块以建筑BIM模型的文本格式文件为基础，对模型的实体、属性和关系进行处理，形成领域模型文件；

运维语义模型构造模块用于构造消防运维语义模型；运维语义模型构造模块对行为判定模块得到的运维信息解析并进行补充和映射，解析之后需要依据BIM模型的格式将运维信息转换成与BIM模型描述语义信息的方式一致的格式；然后，在建筑运维领域模型的基础上，将构造的运维信息与建筑模型融合形成运维语义模型；异常行为检查模块用于检查建筑物中存在异常行为的空间元素，即人员数量不满足对应空间的要求和人员行为不符合对应空间的要求；

用户界面模块用于向外提供功能接口，一方面输入视频流并展示视频内容，修改视频配置，为视频处理模块提供视频数据，另一方面将行为判定模块检测到的结果和异常行为检查模块输出的结果进行输出展示。

2.根据权利要求1所述的基于语义模型的消防运维阶段人员异常检测装置，其特征在于：对于RSTP格式的直播视频流需要网络摄像头以及摄像头的地址、用户名和密码，服务器通过网络访问摄像头，获取视频信息；对于本地视频，视频需要存储在服务器，服务器本地访问视频。

3.根据权利要求1所述的基于语义模型的消防运维阶段人员异常检测装置，其特征在于：行为判定模块包含姿态识别模块和行为规则判定模块；其中：姿态识别模块是通过预训练的检测模型对视频处理模块保存的视频图片进行检测，检测模型使用Faster-RCNN网络从图像中检测出包含人的矩形框；使用SPPE方法得到每个矩形框中人员的17个关键点，分别是鼻子、左眼、右眼、左耳、右耳、脖子、左肩、右肩、左手肘、右手肘、左手腕、右手腕、臀部、左膝盖、右膝盖、左脚踝、右脚踝；检测结果包含每个关键点的坐标以及置信度；行为规则判定模块输入是每个人的关键点的坐标和置信度，对关键点进行归一化，然后计算上肢与下肢的角度，通过几何关系判定人的行为。

4.根据权利要求1所述的基于语义模型的消防运维阶段人员异常检测装置，其特征在于：实体包括建筑实体和空间实体，关系为包含关系，属性为名称信息和几何信息；为运维模型优化、提升检查效率提供技术准备。

5.根据权利要求1所述的基于语义模型的消防运维阶段人员异常检测装置，其特征在于：采用面向规则的模型检查方法检查消防运维阶段有无人员行为违反规范的行为，通过运维语义模型构造模块构造出消防运维视角下的建筑与人的模型，为异常行为检查提供技术准备。

6.根据权利要求1所述的基于语义模型的消防运维阶段人员异常检测装置，其特征在于：异常行为检查模块包括：将运维规范编写成SNL语句，将SNL转换成SPARQL查询语句，在运维语义模型上进行查询，检查出不符合运维规范的元素。

7.一种基于语义模型的消防运维阶段人员异常检测方法，具体包括：

步骤1、视频处理模块通过用户界面模块获取到消防运维阶段人员检测关注的目标区域的视频，然后运行计时器，定时从所有视频流中提取视频帧，将提取到的视频帧保存到本地，留作证据，并供后续使用；领域模型抽取模块读取建筑BIM模型，生成领域模型中间格式文本文件持久化；

步骤2、保存消防运维阶段人员检测关注的图片之后，行为判定模块读取保存的最新的建筑内场景图片，进行信息检测，检测目标是建筑内场景图片中人员的行为；

步骤3、将人的信息与建筑的信息结合，形成消防运维阶段的语义模型；运维语义模型构造模块对行为判定模块的结果进行解析和处理，读取领域模型，将领域模型和运维信息进行融合，生成运维语义模型中间格式文本文件；

步骤4、构造完消防运维阶段的BIM模型之后，在异常行为检查模块中，使用面向规则的模型检查工具对该运维BIM模型进行检查，检查是否存在不符合消防运维规范规定的人员异常行为；异常行为检查模块读取运维语义模型，并在该运维BIM模型上执行SPARQL查询，得到检查结果；

步骤5、用户界面会将行为判定模块以及异常行为检查模块反馈的问题进行汇总，以网页的形式展示给用户。