[发明专利]训练和/或使用神经网络模型来生成光谱图像的中间输出

说明书

与训练和/或使用神经网络模型相关的系统、方法和计算机可读介质。训练的神经网络模型可用于基于常规图像生成(例如，在隐藏层上)光谱图像，并生成指示在生成的光谱图像中存在(并在常规图像中存在，因为光谱图像是基于常规图像生成的)的一个或多个特征的输出。作为一个示例，可以将常规图像作为输入应用于训练的神经网络模型、基于常规图像在训练的神经网络模型的多个层上生成的光谱图像以及基于该光谱图像在多个附加层上生成的输出。生成的输出可以根据训练的神经网络模型的附加层的训练指示各种特征。

背景技术

电子常规图像(这里称为“常规图像”(regular image))包括(或限于)一个或多个通道，每个通道限定人类可见光谱的值。例如，可见彩色图像可以包括红色通道、蓝色通道、绿色通道和/或其他可见光谱通道。由常规图像的每个通道限定的值可以包括用于图像的多个像素中的每个像素的值，其指示在对应光谱中的像素的对应频率和幅度(强度)。

电子光谱图像(这里称为“光谱图像”(spectral image))包括其中每个限定非人类可见的光谱的值的一个或多个通道(并且还可以可选地包括其中每个限定人类可见光谱的值的通道)。光谱图像的一些明确示例是多光谱图像和高光谱图像。例如，光谱图像可以包括近红外通道、中红外通道、远红外通道、热红外通道、电离辐射通道、微波通道、无线电波通道、特低频通道、超低频通道和/或其他非人类可见的通道。而且，光谱图像可以包括一个或多个这样的通道：这些通道每个都是上述这些通道(或其他通道)中的一个通道的子集。例如，可以提供多个微波通道代替单个微波通道，每个微波通道覆盖不同的频率范围。由光谱图像的每个通道限定的值可以包括用于图像的多个像素中的每个像素的值，其指示对应光谱中的像素的对应频率。

发明内容

本说明书一般涉及与训练和/或使用神经网络模型相关的系统、方法和计算机可读介质，所述神经网络模型可用于生成(例如，在隐藏层上)对应于常规图像的光谱图像，并且生成指示存在于光谱图像中(并且存在于常规图像中，因为基于常规图像生成光谱图像)的一个或多个特征的输出。

作为一个示例，可以将常规图像作为输入应用于经训练的神经网络模型、基于该常规图像在该经训练的神经网络模型的多个层上生成光谱图像并且基于该光谱图像在多个附加层上生成输出。所生成的输出可以根据对该经训练的神经网络模型的所述附加层的训练而指示各种特征。例如，所生成的输出可以指示存在的一个或多个对象的分类、一个或多个存在的对象的位置、存在的对象的一个或多个状态、存在的对象的一个或多个材料和/或其他特征。

与常规图像相比，光谱图像包括更丰富的数据(例如，更高水平的光谱细节、更好的看到看不见之物的能力)。结果，仅基于其中每个都包括光谱图像训练示例输入的训练示例而训练的神经网络模型可以提供比仅基于其中每个都包括常规图像的训练示例而训练的神经网络模型更好的性能。然而，仅基于其中每个都包括光谱图像训练示例输入的训练示例而训练的神经网络模型可能需要相对大量的标记的光谱图像数据，这可能是稀缺和/或生产起来昂贵的。此外，仅基于其中每个都包括光谱图像训练示例输入的训练示例而训练的神经网络模型要求训练的模型可以用于本身是光谱图像的输入。捕获光谱图像的设备可能很昂贵，限制了这种训练模型的效用。

因此，本文描述的各种实施方式训练第一神经网络部分，其使得常规图像能够作为输入被应用到第一神经网络部分、并且对应于该常规图像的光谱图像能够基于该输入在第一神经网络部分上被生成。此外，训练第二神经网络部分，其使得能够将该光谱图像作为输入应用于第二神经网络部分、并且能够基于该输入在第二神经网络部分上生成指示该光谱图像的一个或多个特征的输出。