[发明专利]一种多模态智能审讯系统和方法

说明书

本发明提出了一种多模态智能审讯系统和方法，用于公安或国安审讯场景，解决一线经验丰富的办案人员缺乏，提供有力的辅助信息帮助一线审讯人员快速获取审讯过程中的关键信息，及时发现审讯过程中嫌疑人的情绪、心率、声强等变化，对嫌疑犯的对话给出量化可信度评估帮助办案人员提供判断参考。具体的方法是通过音频和视频设备采集音频流、视频流，基于音频和视频流数据使用机器学习算法进行数据分析获取实时的情绪、心率和声强数据，并以此进行可信度量化评估，进而在终端显示上展示原始音视频和基于音视频分析后的情绪心率可信度等数据。

技术领域

本发明涉及公检司法、金融保险反欺诈、国家安全、警用办公领域，尤其是涉及一种智能审讯。

背景技术

在公安或国安等审讯领域，有经验的审讯人员和专家资源有限数量较少，大量一线的审讯人员经验缺乏，再加上嫌疑犯在审讯过程中或拒不配合或善于伪装，对自己的犯罪事实会躲躲闪闪、避而不谈、乃至拒供、谎供、翻供，如何攻克犯罪嫌疑人的心理防线，审讯过程中及时捕捉到一些关键线索和蛛丝马迹，针对性重点攻克审讯难题，达到理想的审讯效果是一个急需解决的问题。

传统的测谎仪等设备通过人体和机器连接的方式对审讯嫌疑人进行心率、声音等观察，具有不够隐蔽，嫌疑人容易察觉和抵触，引发冲突，有的嫌疑人心理素质好或有反审讯的经验不容易达到理想的效果。

本发明提出的一种多模态智能肾虚系统和方法采用视频、音频采集的方式进行收集审讯过程中嫌疑人的图像和声音，通过机器学习算法分析嫌疑人的表情、心率、声强的变化，通过专家知识库算法对表情、心率和声强，以及审讯对话内容进行可信度计算，从而给出审讯嫌疑人的每一句对话的量化衡量的可信度。

审讯人员会结合审讯人员的经验判断和智能审讯系统提供的可信度提示，对审讯过程提供有力的协助，促使审讯达到理想的效果，同时经验丰富的审讯专家库算法引入有效的解决一线审讯人员经验不足的问题。

发明内容

多模态情绪智能终端的工作原理是建立在人在说谎时形态举止上会不受控制的表现出一系列变化，包括一些难以用肉眼观察到的心理状况，例如脸部表情的轻微变化、状态波动、声强波动、体温波动、心率波动等。通过监控设备采集人体微表情的变化信息，将采集的模拟信号经过处理转换成数字信号。计算机将输入的数字信号进行存储、分析、显示，通过获知受试者的身心状况协助审讯工作。

本发明提出一种多模态智能审讯系统和方法，通过以下方式实现：

对审讯嫌疑人的视频流进行实时分析，获取审讯嫌疑人的实时八种表情数据数据；

对审讯嫌疑人的视频流进行实时分析，获取审讯嫌疑人的实时心率数据；

对审讯嫌疑人的声音进行实时分析，获取审讯嫌疑人的声强和波动数据；

对审讯人员和嫌疑人的声音进行实时分析，将审讯过程的对话记录从非结构化数据的语音转为可以结构化数据存储的文本；

进一步对审讯嫌疑人的对话文本进行语义分析，提取关键信息，比如身份证号码、手机号码、姓名、地名等，通过第三方系统接口查询获取更加详细的关联关键信息，比如身份证号码对应的人员详细信息，比如手机号码对应的机主信息和最近通话记录等；

进一步对审讯过程产生的嫌疑人表情数据、声强数据、表情数据、心率数据，进行对话可信度计算，产生量化的可信度数值；通常基于一句话开始和结束时间范围内的一组数据进行计算，评判该句对话的可信度；

进一步对每一个可信度数值与预设阈值进行比对，超出阈值时告警模块触发告警；

审讯过程中，实时的记录和存储审讯产生的原始音频、视频数据，同时存储通过音频、视频分析产生的表情数据、心率数据、可信度数值、告警数据、对话文本数据、对话中提取的关键信息及其关联信息。