[发明专利]一种基于人工智能的多模态门禁系统

权利要求书

1.一种基于人工智能的多模态门禁系统，其特征在于，包括：

采集单元，用于采集同一时刻的姓名文字图像信息和面部图像信息，所述姓名文字图像信息与面部图像信息彼此之间通过采集各信息的传感器的采集方向为关联建立配对联系，上述文字图像信息为二维图像信息，上述面部图像信息为三维图像信息；

第一输入单元，用于输入姓名文字图像信息，对该文字图像信息进行预处理，所述的姓名文字图像信息包含若干组具有相同感兴趣区域的表示形状的第一模态以及与第一模态对应的表示颜色的第二模态的静态图像信息，所述第一模态和第二模态分别位于所述静态图像信息的数据结构的不同层；

第二输入单元，用于输入与姓名文字图像信息配对的面部图像信息，所述的面部图像信息包含若干组具有相同感兴趣区域的至少形状模态以及与形状模态对应的颜色模态、速度模态、距离模态的动态图像信息，所述形状模态、颜色模态、速度模态和距离模态分别位于所述动态图像信息的数据结构的不同层；

判断单元，用于判断每组静态图像信息中不同模态的各层图像信息是否互相匹配；若每组静态图像信息中不同模态的各层图像信息互相匹配，则将对应各层姓名文字图像信息分别划分成多个二维图像块；若每组静态图像信息中不同模态的各层静态图像信息不完全匹配，则将每组数据中第一模态的静态图像信息进行三维重建、配准后再进行切分，获得包含m层第一模态的静态图像信息的第一集合，所述m为大于5的自然数；利用形态学孔洞填充方法将第一集合的信息进行清理，通过离散余弦变换的频域信息融合方法，将第一模态静态图像信息中每层切片静态图像信息与同组中对应的第二模态静态图像信息进行信息融合，并与进行三维重建、配准得到三维融合信息，其中第一维为第一模态和第二模态对应的静态图像信息融合后的信息，第二维为表示颜色的第二模态的静态图像信息，第三维表示距离且设置为0，重建后的三维融合信息与动态图像信息进行信息融合，将融合得到的信息按照所述采集方向标记为带有方向的拟识别图像子块；

训练单元，用于利用预先采集的文字图像通过深度学习的方式对神经网络模型进行初始训练；用准备好的各个方向的拟识别图像子块，将第三维设置为0以使之二维化，得到二维化图像子块，将二维化图像子块输入到神经网络模型，得到的识别结果与二维面部图像信息之一进行相似度比较：如果比较结果存在相似度小于预设阈值的则继续与其他二维面部图像信息进行相似度比较，否则模型停止相似度比较的迭代操作，保存模型。

2.根据权利要求1所述的基于人工智能的多模态门禁系统，其特征在于：所述的预处理包括通过阈值处理以消除文字图像信息中可能存在的噪点的影响、和/或对面部图像信息进行插值处理以统一面部图像信息不同平面的分辨率。

3.根据权利要求1所述基于人工智能的多模态门禁系统，其特征在于，所述方向包括75°、+90°、105°这三个角度。

4.根据权利要求1所述基于人工智能的多模态门禁系统，其特征在于：所述姓名文字图像信息的每组第一模态静态图像信息与第二模态静态图像信息来自相同的待检测者。

5.根据权利要求1所述基于人工智能的多模态门禁系统，其特征在于：所述姓名文字图像信息的每组第一模态静态图像信息与第二模态静态图像信息来自不同的待检测者，作为训练所述模型时的迷惑数据。

6.根据权利要求1所述基于人工智能的多模态门禁系统，其特征在于：同种模态的图像信息采用同一台设备采集。

7.根据权利要求6所述基于人工智能的多模态门禁系统，其特征在于：所述设备为三维照相机。