[发明专利]视频中细微运动的分析和可视化

说明书

示例实施例通过将视频流的图像帧分解成多个空间尺度下和/或取向上的局部相位信息允许对视频流进行快速、高效的运动放大。然后，将每个图像帧的相位信息缩放以放大局部运动，并将缩放的相位信息变换回图像帧，以生成运动放大视频流。相位信息的缩放可以包括在图像帧之间对相位信息进行时间滤波，例如以放大特定频率的运动。在一些实施例中，对在呼吸、心血管脉搏或某个其他感兴趣的过程的频率处的相位信息进行时间滤波允许对视频流内与呼吸或其他感兴趣的特定过程对应的运动的进行运动放大。该相位信息还可以用于确定与视频流内感兴趣的运动对应的时变运动信号。

背景技术

在各种应用中检测和/或放大视频中存在的运动是有利的。例如，放大正在睡眠的孩童的视频中的运动以核实孩童正在呼吸和/或检测孩童的呼吸率可能是有益的。为了放大和/或检测视频中的运动，可以应用各种技术。例如，可以通过比较视频的不同图像来确定光流图(optical flow map)。然后可以例如通过使视频的图像帧失真以增强在光流图中表示的运动来使用这样的光流图来放大视频内的运动。

用于监视人的心率和心动周期的一种已知技术是体积描记图(plethysmogram)，其是对例如皮下静脉或动脉的器官的体积测量。光学获得的体积描记图被称为光电体积描记图，并且可以使用脉搏血氧仪获得，脉搏血氧仪照射人的皮肤并测量由血液供应变化引起的光吸收变化，因为随着每个心动周期，心脏将血液泵送到外周，引起血液系统中的压力脉冲。即使该压力脉冲在到达皮肤以前有所减弱，但也足以使皮下组织中的动脉张开，并且在某些静脉中也可以看到压力脉冲。测量这些压力脉冲提供人的心律和心动周期的度量。

该技术的一种应用是在颈静脉压(JVP)的测量中，颈静脉压通过静脉系统进行间接观察。JVP的测量可有用于区分不同形式的心脏和肺部疾病。但是，难以观察JVP中的压力脉冲。当前，获得JVP迹线(trace)的唯一方法是通过使用导管，这是一种侵入性技术。

发明内容

可以通过变换来自视频流的图像以生成关于图像的内容的局部相位信息来实现运动放大。然后，可以对该相位信息进行缩放、滤波(例如，在视频流的图像之间进行时间滤波)或者以其他方式操纵该相位信息以强调/不强调视频流内的运动。然后，可以将经操纵的相位信息变换回一组图像，以生成运动放大视频流。可转向图像金字塔、Reisz图像金字塔或其他变换可用于生成相位信息和/或将经操纵的相位信息变换回图像。附加地或替代地，相位信息可以用于生成关于视频流内的运动的信息，例如，以检测与呼吸和/或心血管脉搏相关的周期性运动。

本公开的一方面涉及一种由一个或多个计算机实现的方法，该方法包括：(i)通过以下方式生成视频流的第一图像的第一组图像相位信息：(1)将第一组滤波器应用于第一图像以生成关于在第一空间尺度下第一图像的内容的第一局部相位的信息，以及(2)将第二组滤波器应用于第一图像以生成关于在第二空间尺度下第一图像的内容的第二局部相位的信息，其中，第一空间尺度和第二空间尺度不同。该方法还包括：(ii)通过以下方式生成视频流的第二图像的第二组图像相位信息：(1)将第一组滤波器应用于第二图像以生成关于在第一空间尺度下第二图像的内容的第一局部相位的信息，以及(2)将第二组滤波器应用于第二图像以生成关于在第二空间尺度下第二图像的内容的第二局部相位的信息。该方法还包括：(iii)通过以下方式基于第一组图像相位信息和第二组图像相位信息，生成第一组修改的图像相位信息和第二组修改的图像相位信息：(1)将时间滤波器应用于第一组图像相位信息和第二组图像相位信息，以确定在指定时间频率处的第一组图像相位信息的第一分量和在指定时间频率处的第二组图像相位信息的第二分量；(2)通过以第一缩放因子缩放第一组图像相位信息的第一分量来生成第一组修改的图像相位信息；以及(3)通过以第一缩放因子缩放第二组图像相位信息的第二分量来生成第二组修改的图像相位信息。该方法还包括：(iv)生成包括第一运动放大图像和第二运动放大图像的运动放大视频流。生成运动放大视频流包括：(1)将第一和第二组滤波器应用于第一组修改的图像相位信息，以生成第一运动放大图像；以及(2)将第一和第二组滤波器应用于第二组修改的图像相位信息以生成第二运动放大图像。