[发明专利]一种多模态智能审讯系统和方法

权利要求书

1.一种多模态智能审讯系统和方法，其特征是：由输入新的音频设备、视频设备，多模态分析子系统、声强分析子系统、语音转文本子系统、可信度计算模块、语义分析和关键信息提取模块、告警模块、数据存储模块和审讯过程回放模块，以及用于展示审讯过程信息的终端显示模块构成。

2.如权利要求1终端显示模块，对审讯过程产生的各种数据，包括审讯产生的原始音频、视频数据，以及通过音频、视频分析产生的表情数据、心率数据、可信度数值、告警数据、对话文本数据、对话中提取的关键信息及其关联信息，用于终端显示模块进行回放显示。

3.如权利要求1多模态分析子系统，对审讯嫌疑人的视频流进行实时分析，获取审讯嫌疑人的实时八种表情数据数据。

4.如权利要求1多模态分析子系统，对审讯嫌疑人的视频流进行实时分析，获取审讯嫌疑人的实时心率数据。

5.如权利要求1声强分析子系统，对审讯嫌疑人的声音进行实时分析，获取审讯嫌疑人的声强和波动数据。

6.如权利要求1语音转文本子系统，对审讯人员和嫌疑人的声音进行实时分析，将审讯过程的对话记录从非结构化数据的语音转为可以结构化数据存储的文本。

7.如权利要求1语音分析和关键信息提取以及关联信息查询模块，对审讯嫌疑人的对话文本进行语义分析，提取关键信息，比如身份证号码、手机号码、姓名、地名等，通过第三方系统接口查询获取更加详细的关联关键信息，比如身份证号码对应的人员详细信息，比如手机号码对应的机主信息和最近通话记录等。

8.如权利要求1可信度计算模块，对审讯过程产生的嫌疑人表情数据、声强数据、表情数据、心率数据，进行对话可信度计算，产生量化的可信度数值；通常基于一句话开始和结束时间范围内的一组数据进行计算，评判该句对话的可信度。

9.如权利要求1告警模块，每一个可信度数值与预设阈值进行比对，超出阈值时告警模块触发告警。

10.如权利要求1数据存储模块，审讯过程中，实时的记录和存储审讯产生的原始音频、视频数据，同时存储通过音频、视频分析产生的表情数据、心率数据、可信度数值、告警数据、对话文本数据、对话中提取的关键信息及其关联信息。

11.如权利要求1审讯回放模块，审讯结束后可以进行审讯回放，审讯回放模块从数据存储模块记录的各种审讯过程中的数据，包括审讯产生的原始音频、视频数据，同时存储通过音频、视频分析产生的表情数据、心率数据、可信度数值、告警数据、对话文本数据、对话中提取的关键信息及其关联信息，用于终端显示模块进行回放显示。

12.一种多模态智能审讯系统和方法的可信度计算方法，其特征是：通过检测审讯过程中嫌疑人的心率波动、异常表情波动、声强波动幅度等进行可信度量化评估，具体步骤为：

第一步，计算一个统计周期内各种表情的平均值；

第二步，计算该周期内每种表情对全部表情出现次数的投票（占比）；

第三步，基于第一步得到的平均值与第二步得到的占比，计算两者之和最大的表情；

第四步，计算基准心率，即心率绝大多数数值所在的区间；

第五步，计算异常波动的心率占比；

第六步，基于第三步和第五步数值，计算最终的可信度数值。