[发明专利]终端交互方法、装置、计算机设备及存储介质

权利要求书

1.一种基于人工智能的终端交互方法，其特征在于，包括下述步骤：

获取第一待验证视频和第一待验证音频；

将所述第一待验证音频的特征参数输入至识别模型以对所述第一待验证音频进行分析得到第一音频分析值；

通过人脸图像的面部动作识别技术对所述第一待验证视频进行分析以得到第一视频分析值；

根据所述第一音频分析值和所述第一视频分析值确定是否提供供用户进行交互操作的交互界面；以及

在提供交互界面后，定时地获取第二待验证视频和第二待验证音频；

基于所述第二待验证视频和第二待验证音频重新进行分析以确定是否关闭交互界面。

2.根据权利要求1所述的终端交互方法，其特征在于，所述对所述第一待验证视频进行分析以得到第一视频分析值包括：

在所述第一待验证视频中提取存在微表情的图像序列；

获取所述图像序列中每一张图像的情绪编码；

在同一个图像序列的图像中，将情绪编码相同的图像分为一组，并根据分组中的图像确定每组情绪编码的分值，以分值最大的分组对应的情绪编码作为所述图像序列的图像情绪编码；

根据所述图像序列的图像情绪编码确定所述第一视频分析值。

3.根据权利要求2所述的终端交互方法，其特征在于，所述在所述第一待验证视频中提取存在微表情的图像序列包括：

在所述第一待验证视频中，按照预设的时间间隔提取抽样图像；

判断每张抽样图像中是否存在微表情；

当抽样图像中存在微表情时，获取所述第一待验证视频中与所述抽样图像邻近的图像以组成所述图像序列。

4.根据权利要求2所述的终端交互方法，其特征在于，所述根据分组中的图像确定每组情绪编码的分值包括：

按照图像在所述待验证视频中出现的时间对所述图像序列中的每一张图像进行排列，并根据排列的顺序设置每一张图像的权值，所述权值为一个跟随排列的顺序先递增后递减的数列；

以每组中所有图像的权值相加以得到该组对应的情绪编码的分值。

5.根据权利要求2所述的终端交互方法，其特征在于，所述图像序列为多个图像序列，所述根据所述图像序列的图像情绪编码确定所述第一视频分析值包括：

对每个图像序列赋予相同的权值；

识别每个图像序列的时间段，将第一待验证音频按识别到的时间段进行分段，得到与每个图像序列对应的音频片段；

对所述音频片段进行分析以获得每个图像序列对应的音频情绪编码；

当音频情绪编码与同时间段内的图像序列的图像情绪编码相同时，增大该图像序列对应的权值；

将图像情绪编码相同的图像序列分为一组，并将每组中图像序列对应的权值相加以得到每组图像序列的分值，以分值最大的分组对应的图像情绪编码为所述第一视频分析值。

6.根据权利要求1所述的终端交互方法，其特征在于，所述根据所述第一音频分析值和所述第一视频分析值确定是否提供供用户进行交互操作的交互界面包括：

按照预设的规则确定所述第一音频分析值对应的音频分值和所述第二视频分析值对应的视频分值；

从所述第一待验证视频中提取图像数据进行人脸匹配以获得人脸匹配率；

以所述人脸匹配率为权值计算所述音频分值和所述视频分值的加权和；

当所述加权和大于安全阈值时，提供相应的交互界面；

当所述加权和小于或等于安全阈值时，则不提供相应的交互界面。

7.根据权利要求1所述的终端交互方法，其特征在于，所述定时地获取第二待验证视频和第二待验证音频包括：

获取当前交互界面的安全等级；

根据所述安全等级确定获取第二待验证视频和第二待验证音频的频率，并按照所述频率获取第二待验证视频和第二待验证音频。