[发明专利]语音通话方法、装置、计算机设备及存储介质有效
申请号: | 202110603109.4 | 申请日: | 2021-05-31 |
公开(公告)号: | CN113223533B | 公开(公告)日: | 2023-06-06 |
发明(设计)人: | 蒙桂;彭钊 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G10L15/26 | 分类号: | G10L15/26;G10L17/00;G10L17/04;H04N7/14;H04N5/265 |
代理公司: | 深圳市赛恩倍吉知识产权代理有限公司 44334 | 代理人: | 刘丽华 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 语音 通话 方法 装置 计算机 设备 存储 介质 | ||
1.一种语音通话方法,其特征在于,所述方法包括:
获取第一用户阅读预设文本的阅读音频,并调用声纹提取模型提取所述阅读音频中的所述第一用户的用户声纹及声纹提取参数;
获取所述第一用户的双录视频,对所述双录视频进行音视频分离得到音频数据,将所述音频数据编码为第二脉冲编码调制数据,调用所述声纹提取模型基于所述用户声纹提取参数从所述第二脉冲编码调制数据中提取出用户通话声纹,将所述用户通话声纹编码为通话音频;
对所述通话音频进行语音识别得到通话文本,并对所述通话文本进行文本切分得到多个通话文本片段;
从所述双录视频中切分出与每个通话文本片段对应的通话视频片段;
将每个通话文本片段叠加显示在对应的通话视频片段上以辅助第二用户进行语音通话,并根据所述双录视频的采集参数对显示在所述通话视频片段上的通话文本进行缩放处理。
2.如权利要求1所述的语音通话方法,其特征在于,所述调用声纹提取模型提取所述阅读音频中的所述第一用户的用户声纹及声纹提取参数包括:
将所述阅读音频编码为第一脉冲编码调制数据;
调用声纹提取模型基于预设的第一声纹提取参数从所述第一脉冲编码调制数据中提取多个第一声纹,对每个所述第一声纹进行语音识别得到第一声纹文本,并对每个所述第一声纹文本与所述预设文本进行匹配;
当每个所述第一声纹文本与所述预设文本匹配失败时,更新所述第一声纹提取参数得到第二声纹提取参数;
调用所述声纹提取模型基于所述第二声纹提取参数从所述第一脉冲编码调制数据中提取出多个第二声纹,对每个所述第二声纹进行语音识别得到第二声纹文本,并对每个所述第二声纹文本与所述预设文本进行匹配;
当任意一个所述第二声纹文本与所述预设文本匹配成功时,将匹配成功的第二声纹确定为所述用户声纹,并将所述第二声纹提取参数确定为所述用户声纹提取参数。
3.如权利要求2所述的语音通话方法,其特征在于,所述对每个所述第一声纹文本与所述预设文本进行匹配包括:
将待进行文本匹配的第一声纹文本确定为目标第一声纹,将其余每个第一声纹文本确定为非目标第一声纹;
根据多个所述非目标第一声纹计算所述目标第一声纹的文本匹配度阈值;
计算所述目标第一声纹对应的声纹文本与所述预设文本之间的文本匹配度;
判断所述文本匹配度是否大于所述文本匹配度阈值;
当所述文本匹配度大于所述文本匹配度阈值时,确定所述目标第一声纹对应的声纹文本与所述预设文本匹配成功;
当所述文本匹配度小于或者等于所述文本匹配度阈值时,确定所述目标第一声纹对应的声纹文本与所述预设文本匹配失败。
4.如权利要求3所述的语音通话方法,其特征在于,所述根据多个所述非目标第一声纹计算所述目标第一声纹的文本匹配度阈值包括:
计算每个所述非目标第一声纹的声纹幅值;
匹配出每个声纹幅值对应的文本匹配度值;
计算多个所述文本匹配度值的和值得到所述文本匹配度阈值。
5.如权利要求4所述的语音通话方法,其特征在于,所述从所述双录视频中切分出与每个通话文本片段对应的通话视频片段包括:
根据所述双录视频的时间轴确定每个通话文本片段对应的起止时间点;
以每个通话文本片段对应的起止时间点为视频切分点,对所述双录视频进行切分,得到多个通话视频片段;
关联每个通话文本片段与对应的通话视频片段。
6.如权利要求5所述的语音通话方法,其特征在于,所述根据所述双录视频的采集参数对显示在所述通话视频片段上的通话文本进行缩放处理包括:
获取所述采集参数中的采样率;
根据所述采样率确定所述通话文本的文本显示区域;
根据所述通话文本中的文本字符数及所述显示区域计算每个文本字符的字符显示区域;
根据所述字符显示区域对所述通话文本进行缩放处理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110603109.4/1.html,转载请声明来源钻瓜专利网。