[发明专利]脑电图辅助的波束形成器和波束形成方法以及耳戴式听力系统

说明书

本申请公开了一种多模式波束形成器，包括：用于接收多模式输入信号的装置；用于构建优化模型和求解优化模型的装置，其获得对所述多模式输入信号进行线性或非线性组合的波束形成权系数。所述优化模型包括用于获得所述波束形成权系数的优化公式。所述优化公式包括建立所述至少一个脑电图信号与波束形成输出之间的关联、优化所述关联以便构建出与至少一个脑电图信号相关联的波束形成权系数。

技术领域

本发明涉及助听技术领域，具体地，涉及一种用在耳戴式(ear-worn)听力系统中的脑电图辅助的多模式波束形成器以及波束形成方法以及包括该波束形成器的耳戴式听力系统。

背景技术

耳戴式听力系统用来通过传递放大的声音至遭受听觉损失的人的耳道来帮助他们。患者的耳蜗外毛细胞的损坏导致患者的听觉的频率分辨率损失。随着这种情况发展，患者难于区分语音和环境噪声。简单的放大解决不了这个问题。因此，需要帮助这类患者明白嘈杂环境下的语音。通常在耳戴式听力系统中应用波束形成器，以区分语音和噪声，从而帮助患者明白嘈杂环境下的语音。

一方面，在听力系统中应用(由麦克风阵列提供的)空间多样性的双耳波束形成技术是一项公知技术，其能明显改善使用者在嘈杂的多个讲话者环境下对目标讲话者的语义理解。然而，广泛使用的两类波束形成器，如多通道维纳滤波器(Multi-channel WienerFilter，MWF)波束形成器和最小方差无失真响应(Minimum Variance DistortionlessResponse，MVDR)波束形成器，需要关于目标讲话者的先验信息，即，利用传统信号处理方法来提取讲话者的空间先验信息。具体地，MWF波束形成器需要针对参与的讲话者(AttendedTalker)的语音活跃检测(Voice Activity Detection，VAD)，而MVDR波束形成器需要识别参与的讲话者的声学传递函数(Acoustic Transfer Function，ATF)。

在实际应用中，从嘈杂的多个讲话者环境精确地获得这种空间先验信息是不容易的。

另一方面，人脑在嘈杂的多个讲话者环境下识别和跟踪单个讲话者的机理是最近几十年活跃的研究课题。最近几年，通过使用者的脑电图信号(EEG)提取其在多个讲话者环境中的听觉注意力(Auditory Attention，AA)，取得了实质性进展。例如，在S.VanEyndhoven,T.Francart和A.Bertrand，EEG-informed attended speaker extractionfrom recorded speech mixtures with application in neuro-steered hearingprostheses(来自与在神经控制的听力修复中的应用的记录的语音混合的EEG信息的参与的扬声器提取)，IEEE Transactions on Biomedical Engineering,64(5):1045-1056,2017年5月和N.Das,S.Van Eyndhoven,T.Francart和A.Bertrand，EEG-based attention-driven speech enhancement for noisy speech mixtures using n-fold multi-channel wiener filters(用于使用n重多通道维纳滤波器的嘈杂语音混合的基于EEG的注意力驱动的语音增强)，In 2017 25^th European Signal Processing Conference(EUSIPCO)中,1660-1664页,2017年8月(上述文件通过引用并入本文以用于所有目的)中公开了基于EEG辅助的AA解码波束形成方法，这些方法直接从EEG信号中获取使用者AA。但是这些方法均以分步骤的方式实现波束形成，即，第一步将通过使用者EEG信号提取(解码)AA，第二步再根据解码的AA实现波束形成或降低噪声。由于分步的实现过程，这些方法有以下两个缺点：

错误的注意力解码的敏感性：由于EEG信号反映人脑的复杂的活动，解码AA可能不总是正确的。一旦AA解码错误，真正目标讲话者会在波束形成阶段被抑制，这对于实际应用来说是非常糟糕的情况。