[发明专利]一种基于云—边缘协同架构的会议记录方法及系统

说明书

本发明涉及一种基于云—边缘协同架构的会议记录方法及系统，该系统包括云服务器、边缘服务器和多个客户端；会议前首先构建参与者音频数据集，训练声纹识别模型。会议时客户端录制会议视频或音频，然后上传音频到边缘服务器，边缘服务器使用声纹识别结果对音频进行分割，然后上传到云服务器进行语音识别，最终由边缘服务器汇总识别结果并整理为ASS或SRT标准字幕文件和文本文件并返回客户端，实现会议记录。该记录方法可以提高会议记录的准确率、安全性和隐私性。

技术领域

本发明涉及一种基于云—边缘协同架构的会议记录方法及系统，属于人工智能技术领域。

背景技术

会议是一个团队交流思想的重要过程，许多重要的会议需要完整记录下来，记录方法是一道难题。人工整理文字虽然能最大限度保证准确性但是费时费力，录制音频或视频存储可以保证记录的完备性但是不方便检索。

在会议中往往有多位角色发言，说话人的识别问题又给会议记录人员带来了很大的挑战。此外，在会议中经常出现说话被打断的情况，通常语音识别不能处理这种情况，而会当作同一句话，从而导致识别结果出现错误。

说话人识别技术又称声纹识别，是根据语音对说话人进行区分，从而进行说话人身份识别和认证的一种生物识别技术。声纹是指通过特性算法从音频中提取出的一段数字摘要，可以反映说话人声音的许多特征，甚至可以由声纹还原说话人的声音，因此在会议记录中对于声纹的隐私保护也非常重要。

现有的智能会议记录系统多采用云—端架构，即用户需要上传带标签的语音数据到云服务器，而近年来网络数据泄露事件数见不鲜，数据安全性难以保证。

中国专利文献CN112468761A公开了一种智能会议记录系统，包括控制模块，包括布置会议现场的会议装置；会议装置包括音频录入模块，存储模块还包括用于传输远程会议数据的远程连接模块；还包括声纹识别模块，声纹识别模块用于识别声纹信息，生成声纹标签；还包括视频采集模块，视频采集模块用于采集通过无线或视频接口投放的视频音频数据；还包括会议纪要处理模块，会议纪要处理模块接收声纹识别模块输出的声纹标签，会议纪要处理模块接收音频录入模块语音信息转化成文字信息并记录在对应身份标签之后，会议纪要处理模块接收视频采集模块视频数据存储并进行图像抓取并记录在不同声纹标签后生成会议纪要。但是，该专利中声纹识别模块依赖于声源定位模块，当说话人位置发生变化时可能会影响声纹识别效果。另外，该专利采用的是云—端架构，会议视频会议录音以及所生成的会议纪要内容以及声纹标签存储在云端数据库，数据安全方面存在潜在的风险。

发明内容

针对现有技术的不足，本发明提供了一种基于云—边缘协同架构的会议记录方法，该方法基于云—边缘协同架构，在边缘服务器进行声纹识别，让数据隐私保护变得更具操作性。语音录制在本地的客户端，计算量较小、隐私要求较高的声纹识别在边缘服务器，而不经过云服务器，避免了潜在的数据劫持风险，提高了隐私性和安全性。

本发明还提供了一种基于云—边缘协同架构的会议记录系统。

术语解释：

1.ResNet-34网络：一种用于特征提取的深度学习网络，多用于图像识别。

2.UIS-RNN网络：无界交叉状态递归神经网络的简称，解决了序列数据的分段和聚类问题，可以将序列数据的特征提取为与时间无关的数据。

本发明的技术方案为：

一种基于云—边缘协同架构的会议记录方法，用于会议记录，得到视频文件或音频文件、字幕文件和记录说话人及说话内容的文本文件；具体步骤包括：

(1)在客户端，录制并存储会议的音频或视频，并将音频或视频提取得到的音频上传到边缘服务器；

(2)在边缘服务器中，将上传的音频分割为音频片段；