[发明专利]通过迁移学习生成具有不同疲劳程度的视频数据集的系统和方法

说明书

本公开涉及用于训练应用程序以识别驾驶员疲劳的技术。根据从第一神经网络学习的图像的第一表示来重构面部表情图像。基于所述第一表示，使用第二神经网络以在先前的间隔或程度生成的图像中生成表达当前程度或疲劳的图像。根据所述第一表示以及从所述第二神经网络学习的第二表示来重构所述图像，并且根据相应的图像光流来生成内插视频数据的中间图像，其中，所述光流是通过将图像之间的时间帧中的图像融合在一起而形成的。根据所述数据来编译驾驶员的假疲劳状态视频，以在其中训练应用程序以检测驾驶员疲劳。

技术领域

本公开大体上涉及驾驶员疲劳的检测，具体涉及生成视频数据集以训练应用程序以供用于识别驾驶员何时疲倦。

背景技术

驾驶员疲劳或困倦正日益成为车辆事故的常见原因。驾驶员困倦检测和监控对于确保安全的驾驶环境至关重要，这不仅对困倦的驾驶员来说是如此，而且对于可能会受到困倦的驾驶员影响的附近其他驾驶员来说也是如此。具有监控驾驶员能力的车辆允许车辆采取措施以防止或协助防止因驾驶员困倦而导致的事故。举例来说，可以启用报警系统以警告驾驶员其处于困倦状态，或者可以启用自动功能，诸如制动和转向以控制车辆，直到驾驶员不再疲倦为止。然而，很少有公共数据集可以训练应用程序以对特定驾驶员执行此种检测和监控，其中每个驾驶员都具有其自身的个人能力以承受各种程度的疲劳，以及具有不同指标以显示特定驾驶员的各种睡意程度。因此，如果根据单一标准来确定驾驶员的睡意状态，驾驶员检测和监控系统可能会过度响应或响应不足，这可能不会提高驾驶员的安全性。

发明内容

根据本公开的一个方面，存在一种用于训练应用程序以识别驾驶员疲劳的计算机实施的方法：使用第一神经网络从多个第二面部表情图像生成多个第一面部表情图像，其中，根据从所述第一神经网络学习的所述多个第二面部表情图像的第一表示来重构所述多个第一面部表情图像；基于所述第一表示，使用第二神经网络从表达当前疲劳程度之前的疲劳程度的第三面部表情图像和第二图像生成表达所述当前疲劳程度的第一图像，其中，根据所述第一表示以及从所述第二神经网络学习的所述第三面部表情图像的第二表示来重构所述第一图像和所述第二图像；在相应的光流期间，从所述第一图像和所述第二图像生成内插视频数据的多个中间图像，其中，所述光流通过融合所述第一图像和所述第二图像来形成并且位于所述第一图像与所述第二图像之间的时间帧中；以及，至少使用所述第一图像和所述第二图像以及所述内插视频数据的所述多个中间图像来编译驾驶员的假疲劳状态视频，以在其中训练所述应用程序以检测所述驾驶员疲劳。

任选地，在任一前述方面中，其中，所述第一个神经网络执行以下步骤：将所述多个第二面部表情图像映射到相应的第一表示；以及，将所述相应的第一表示映射到具有与所述多个第二面部表情图像相同的表情的所述多个第一面部表情图像。

任选地，在任一前述方面中，其中，所述第二个神经网络包括执行以下步骤的条件变分自动编码器：对所述第三面部表情图像和所述第二图像进行编码，并且输出描述所述第二表示的每个维度的分布的参数；以及，通过计算每个参数相对于输出损失的关系对所述第二表示的每个维度的所述分布进行解码，以重构所述第三面部表情图像和所述第二图像。

任选地，在任一前述方面中，其中，所述第二神经网络还包括执行以下步骤的生成式对抗网络(generative adversarial network，GAN)：将所述重构图像与所述第三面部表情图像进行比较，以生成鉴别器损失；将所述重构图像与处于相同程度的地面真实图像进行比较，以生成重构损失；基于所述鉴别器损失和所述重构损失，预测所述重构图像具有与所述第三面部表情图像相对应的外观的可能性；以及，当所述预测将所述第一图像分类为真实图像时，将所述重构图像作为表达当前疲劳程度的所述第一图像而输出、并且作为表达所述当前疲劳程度之前的疲劳程度的所述第二图像而输入到所述条件变分自动编码器。

任选地，在任一前述方面中，其中，所述重构损失指示所述第三面部表情图像与所述重构图像之间的相异度，并且所述鉴别器损失指示生成不正确的预测的成本，所述预测是指所述重构图像具有所述第三面部表情图像的所述外观。