[发明专利]一种机器辅助的会议记录系统及方法

说明书

本发明涉及一种机器辅助的会议记录系统，包括：麦克风收音阵列：用以实时拾取会议的音频数据；音频预处理模块：对录入的音频数据进行分割和预处理，并且将预处理过的音频数据分别送入声纹识别模块以及语音处理系统模块中；声纹识别模块：用以判断音频数据中每句话所属说话人身份信息，并且为每句话匹配说话人身份标签；语音识别模块：用以将音频数据转换为文字信息；综合处理模块：用以组合声纹识别模块与语音识别模块的输出内容，并发送给终端界面；可实时交互处理的终端界面：用以实时进行操作处理，显示会议记录信息，依据机器生成的内容，实时进行纠错改正。与现有技术相比，本发明实时检错、自动生成，避免二次审查造成时间浪费。

技术领域

本发明涉及人工智能领域，尤其是涉及一种机器辅助的会议记录系统及方法。

背景技术

在一些企业会议和法庭中常常需要用文字的方式记录下每个人所陈述的话语，这部分的工作往往需要人工进行记录，但是人的注意力是有限的，使用人工的方式往往会出现记录不全，错记漏记的情况。所以可能常常需要再进行人工返工和审核，但在二次修改时可能需要对录像和录音重新定位搜寻，反复确认，才能准确的记录，在此期间耗费大量的时间和精力。

为了解决人工进行会议记录会造成的错误，以及减少二次返工所造成的时间消耗问题，需要一种机器辅助的会议记录系统及方法。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种机器辅助的会议记录系统及方法。

本发明的目的可以通过以下技术方案来实现：

一种机器辅助的会议记录系统，该系统包括：

麦克风收音阵列：用以实时拾取会议的音频数据；

音频预处理模块：对录入的音频数据进行分割和预处理，并且将预处理过的音频数据分别送入声纹识别模块以及语音处理系统模块中；

声纹识别模块：用以判断音频数据中每句话所属说话人身份信息，并且为每句话匹配说话人身份标签；

语音识别模块：用以将音频数据转换为文字信息；

综合处理模块：用以组合声纹识别模块与语音识别模块的输出内容，并发送给终端界面；

可实时交互处理的终端界面：用以实时进行操作处理，显示会议记录信息，依据机器生成的内容，实时进行纠错改正。

所述的声纹识别模块包括依次连接的帧级特征提取器、注意力统计池化层和话语级别特征提取器，所述的帧级特征提取器用以提取分为多帧后的音频数据的帧级特征，注意力统计池化层用以根据帧级特征输出帧级特征的权重平均值和权重标准差，所述的话语级别特征提取器将帧级特征权重平均值作为话语级特征并输入，生成表示说话人身份的数值向量。

所述的帧级特征提取器和话语级特征处理器采用基于CNN、LSTM或Transformer结构的深度神经网络模型。

所述的语音识别模块包括：

编码器网络：由多个块堆叠形成，每个块依次包含layer norm、multi-headattention、feed-forward network和ResNet connection，所述的feed-forward network由多层全连接串联而成，其激活函数为ReLU，所述的ResNet connection用于深度提取特征信息；

预测网络：除multi-head attention使用特定的掩码外，在结构上与编码器相同；

联合网络：接收编码器网络和预测网络输出的线性组合，由多层全连接层组成，其中，最后一层为softmax层，输出概率分布，根据概率分布生成相应的文字。

所述的语音识别模块中的网采用的Loss函数为标签序列所有对齐的概率和，则有：