[发明专利]双录方法、装置、终端及存储介质

权利要求书

1.一种双录方法，其特征在于，包括：

若检测到用户在预设业务场景下输入业务操作，则显示业务详情界面，所述业务详情界面中显示有虚拟业务员；

根据所述预设业务场景，确定所述预设业务场景对应的目标文本话术；

根据所述目标文本话术，控制所述虚拟业务员执行所述目标文本话术对应的唇语动作，并播放所述目标文本话术对应的语音声音；

将采集的所述用户对应的视频流，以及所述虚拟业务员对应的视频流传输至服务器，所述虚拟业务员对应的视频流为所述虚拟业务员执行的唇语动作和所述语音声音；

所述方法还包括：

采用预设的唇语识别模型和预设的语音识别模型，分别对所述用户对应的视频流中的第二帧图像和用户语音进行识别，得到唇语文本，和语义文本；

分别根据所述唇语文本和所述语义文本，判断所述用户是否确认所述业务操作，得到唇语判断结果和语义判断结果；

若所述唇语判断结果和所述语义判断结果中任一不通过，则取消所述业务详情界面的显示。

2.如权利要求1所述的方法，其特征在于，所述根据所述预设业务场景，确定所述预设业务场景对应的目标文本话术，包括：

根据所述预设业务场景下所述用户选择的业务流程，确定所述业务流程对应的文本话术为所述目标文本话术。

3.如权利要求1所述的方法，其特征在于，所述根据所述目标文本话术，控制所述虚拟业务员执行所述目标文本话术对应的唇语动作，并播放所述目标文本话术对应的语音声音之前，所述方法还包括：

根据所述目标文本话术，分别采用预设的唇语合成模型和预设的语音生成模型，生成所述唇语动作和所述语音声音。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

检测所述用户对应的视频流中的每个帧图像是否存在人脸；

若所述用户对应的视频流中的第一帧图像不存在人脸，则发出提示信息，并取消所述业务详情界面的显示，所述提示信息用于指示存在换人风险。

5.如权利要求1所述的方法，其特征在于，所述方法还包括：

采用预设的人脸识别模型，对所述用户对应的视频流中的人脸图像进行特征检测，得到第一人脸特征；

根据所述第一人脸特征和所述用户对应的人脸特征数据库，对所述用户进行身份核实。

6.如权利要求1所述的方法，其特征在于，所述方法还包括：

采用的身份字符识别模型和预设的人脸识别模型，分别对所述用户对应的视频流中的身份证帧图像进行识别，得到所述用户对应的身份证字符和身份证人脸特征；所述身份证帧图像为播放身份证出示语音的情况下采集到的帧图像；

根据所述身份证字符和预设身份信息数据库，对所述用户进行身份证的字符校验；

根据所述身份证人脸特征和所述用户对应的人脸特征数据库，对所述用户进行身份证的人脸校验。

7.一种双录装置，其特征在于，包括：

显示模块，用于若检测到用户在预设业务场景下输入业务操作，则显示业务详情界面，所述业务详情界面中显示有虚拟业务员；

确定模块，用于根据所述预设业务场景，确定所述预设业务场景对应的目标文本话术；

控制模块，用于根据所述目标文本话术，控制所述虚拟业务员执行所述目标文本话术对应的唇语动作，并播放所述目标文本话术对应的语音声音；

传输模块，用于将采集的所述用户对应的视频流，以及所述虚拟业务员对应的视频流传输至服务器，所述虚拟业务员对应的视频流为所述虚拟业务员执行的唇语动作和所述语音声音；

所述装置还包括：

第二识别模块，用于采用预设的唇语识别模型和预设的语音识别模型，分别对所述用户对应的视频流中的第二帧图像和用户语音进行识别，得到唇语文本，和语义文本；

判断模块，用于分别根据所述唇语文本和所述语义文本，判断所述用户是否确认所述业务操作，得到唇语判断结果和语义判断结果；

第二取消模块，用于若所述唇语判断结果和所述语义判断结果中任一不通过，则取消所述业务详情界面的显示。