[发明专利]使用说话者嵌入和所训练的生成模型的说话者日志

说明书

说话者日志技术，使得能够处理音频数据以生成音频数据的一个或多个细化版本，其中，音频数据的每个细化版本分离单个相应的人类说话者的一个或多个话语。各种实现方式通过以下来生成分离单个人类说话者的话语的音频数据的细化版本：为单个人类说话者生成说话者嵌入，并且使用所训练的生成模型来处理音频数据，以及在处理期间，在确定所训练的生成模型的隐藏层的激活中使用说话者嵌入。基于该处理，在所训练的生成模型上生成输出，并且该输出是音频数据的细化版本。

背景技术

说话者日志(diarization)是根据说话者身份，将输入音频流分成同质分段(segment)的过程。回答了在多说话者环境中“谁在何时说话”的问题。例如，可以利用说话者日志来标识输入音频流的第一分段可归因于第一人类说话者(没有特别地标识谁是第一人类说话者)、输入音频流的第二分段可归因于不同的第二人类说话者(没有特别地标识谁是第一人类说话者)、输入音频流的第三分段可归因于第一人类说话者等等。说话者日志具有广泛的应用，包括多媒体信息检索、说话者轮次分析和音频处理。

典型的说话者日志系统通常包括四个步骤：(1)语音分段，其中，将输入音频分段为假定具有单个说话者的短片段(section)，并且过滤掉非语音片段；(2)音频嵌入提取，其中，从分段的片段中提取特定特征；(3)聚类，其中，确定说话者的数量，并且将所提取的音频嵌入聚类成这些说话者；以及可选地，(4)再分段，其中，进一步细化聚类结果以生成最终的日志结果。

利用这种典型的说话者日志系统，日志不能准确地识别在给定分段期间多个说话者说话的发生。相反，这样的典型系统将给定分段归因于仅一个说话者，或者不能将给定分段归因于任何说话者。这导致不正确的日志，并且可能对可能依赖于日志结果的其他应用生成不利影响。

而且，利用这样的典型的说话者系统，在每个步骤中都会引入错误，并且会传播到其他步骤，由此导致错误的日志结果，从而不利地影响可能依赖于错误的日志结果的其他应用。例如，由于长分段的低分辨率的结果和/或由于具有不足以生成准确的音频嵌入的音频的短分段的结果，在语音分段中可能会引入错误。作为另一个示例，可以在不使用任何全局信息的情况下，在本地生成音频嵌入，这可能附加或替代地引入错误。作为又一个示例，音频嵌入的聚类可以附加地或替代地引入错误，因为它涉及假定精度低的无监督学习。

发明内容

本文中描述了说话者日志技术，其使得能够处理音频数据序列以生成音频数据的一个或多个细化版本，其中，音频数据的每个细化版本分离单个相应的人类说话者的一个或多个话语，从而使得能够确定音频数据序列的哪一部分对应于相应的人类说话者。例如，假设音频数据序列包括来自第一人类说话者的第一话语、来自第二人类说话者的第二话语以及各种背景噪声的发生。本文公开的实现方式可以被用来生成第一细化的音频数据，该第一细化的音频数据仅包括来自第一人类说话者的第一话语，并且排除第二话语和背景噪声。此外，可以生成第二细化的音频数据，该第二细化的音频数据仅包括来自第二人类说话者的第二话语，并且排除第一话语和背景噪声。再者，在那些实现方式中，即使当第一和第二话语中的一个或多个在音频数据序列中重叠时，也可以分离第一和第二话语。

各种实现方式生成音频数据的细化版本，该音频数据的细化版本通过为单个人类说话者生成说话者嵌入，并且使用所训练的生成模型来处理音频数据，以及在处理期间，将说话者嵌入用在确定所训练的生成模型的隐藏层的激活中，分离单个人类说话者的话语。基于该处理，在所训练的生成模型上顺序地生成输出，并且该输出是音频数据的细化版本。