[发明专利]图像处理方法、图像处理装置与图像处理系统

说明书

本发明涉及图像处理方法、图像处理装置与图像处理系统。一种图像处理方法包括：第一步骤，获取包括被捕获图像和与用于捕获所述被捕获图像的光学系统的状态有关的光学系统信息的输入数据；以及第二步骤，将所述输入数据输入到机器学习模型，并生成通过对所述被捕获图像进行锐化或通过对所述被捕获图像中包括的模糊进行整形而获取的估计图像。

技术领域

本发明涉及一种图像处理方法，该图像处理方法用于对由用于捕获被捕获图像的光学系统引起的模糊进行锐化或整形。

背景技术

日本专利公开号(“JP”)2011-123589公开了使用基于Wiener滤波器的处理来校正由被捕获图像中的像差引起的模糊并且获取经锐化的图像的方法。JP 2017-199235公开了使用卷积神经网络(CNN)校正由被捕获图像中的散焦引起的模糊的方法。

然而，JP 2011-123589中公开的方法使用基于Wiener滤波器的处理(线性处理)，因此不能以高精度对模糊的图像进行锐化。例如，无法恢复关于其中模糊使空间频谱为零或使被摄体的强度与噪声的强度相同的被摄体的信息。此外，由于需要针对不同的像差使用不同的Wiener滤波器，因此在生成各种像差的光学系统中，用于锐化被捕获图像的存储数据量(指示多个Wiener滤波器的数据容量)增加。

另一方面，在JP 2017-199235中，由于使用CNN的方法是非线性处理，因此可以估计已经减小到零附近的被摄体的空间频谱。然而，使用CNN的方法在锐化由生成各种像差的光学系统捕获的被捕获图像时可能降低锐化精度，或者可能增加学习负荷和存储数据量。CNN不能正确地锐化具有CNN尚未学习的模糊的图像。在光学系统中，所生成的模糊由于变焦、F数、被摄体距离(焦点距离)等的状态而变化，并且能想到以下两种方法来锐化所有模糊的图像。

第一种方法使用包括光学系统中可能出现的所有模糊的学习数据来使CNN学习。但是，在第一种方法中，由于CNN进行学习以平均学习数据中包括的所有模糊，因此在具有不同形状的每个模糊中各自的锐化精度降低。第二种方法将光学系统中可能出现的模糊分为多个相似的组，并基于每个组的学习数据来使CNN单独学习。然而，在第二种方法中，当光学系统是例如高倍率变焦透镜并生成各种像差时，组的数量大大增加，从而增加了学习负荷和存储数据量(学习到的CNN权重的数据容量)。因此，难以在抑制学习负荷和存储数据量的同时确保对模糊的图像进行锐化的精度。

发明内容

本发明提供了图像处理方法、图像处理装置、图像处理系统和学习到的权重的制造方法，它们均在抑制机器学习模型的学习负荷和存储数据量的同时高度精确地对被捕获图像进行锐化或对被捕获图像中的模糊进行整形。

根据本发明的一个方面的一种图像处理方法包括：第一步骤，获取包括被捕获图像和与用于捕获所述被捕获图像的光学系统的状态有关的光学系统信息的输入数据；以及第二步骤，将所述输入数据输入到机器学习模型，并生成通过对所述被捕获图像进行锐化或通过对所述被捕获图像中包括的模糊进行整形而获取的估计图像。

一种存储计算机程序的非暂时性计算机可读存储介质还构成本发明的另一个方面，所述计算机程序使计算机执行上面的图像处理方法。

作为本发明的一个方面的一种图像处理装置包括：获取单元，被配置为获取包括被捕获图像和与用于捕获所述被捕获图像的光学系统的状态有关的光学系统信息的输入数据；以及生成单元，被配置为将所述输入数据输入到机器学习模型，并生成通过对所述被捕获图像进行锐化或通过对所述被捕获图像中包括的模糊进行整形而获取的估计图像。