[发明专利]图像处理方法、图像处理装置、摄像装置及摄像方法

说明书

本发明首先，一边使焦点位置沿着光轴变化一边拍摄对象物，从而获取多个拍摄图像(D1～D5)。接着，获取多个拍摄图像(D1～D5)间的倍率变化。接下来，基于倍率变化，确定多个拍摄图像(D1～D5)间相互对应的像素，并且在对应的像素之间比较锐度。然后，基于锐度的比较结果来决定图像参照值，该图像参照值是作为全焦点图像(DA)的各坐标的亮度值所应参照的拍摄图像的序号。然后，对每个坐标参照图像参照值所示的拍摄图像的亮度值，生成全焦点图像(DA)。由此，能够生成高精度地反映了对象物的位置及大小的全焦点图像(DA)。

技术领域

本发明涉及基于多个拍摄图像生成全焦点图像的图像处理方法、图像处理装置、摄像装置及摄像方法。

背景技术

专利文献1中记载了一种通过以高分辨率拍摄细胞来观察细胞的培养状态的装置。专利文献1的装置通过照相机拍摄与培养液一同被保持在容器内的细胞。这种装置有时难以通过一次拍摄来对培养液中的所有细胞对焦。因此，通过改变照相机的焦点位置进行多次拍摄，并将得到的多个图像合成，从而生成对整体对焦的全焦点图像。

专利文献2中记载了一种涉及全焦点图像的生成的现有技术。专利文献2的装置中，由于从标本到摄像单元的光学系统非远心，因此若改变照相机的焦点位置则图像的倍率变化。因此，专利文献2的装置在通过修正而统一了图像的倍率后，生成全焦点图像(参照专利文献2的图2等)。基于预先保存的放大光学系统的设计信息以及标本的位置信息来进行倍率的修正(参照专利文献2的第0054段等)。

现有技术文献

专利文献1：日本特开2016-14974号公报

专利文献2：日本特开2011-7872号公报

发明内容

发明所要解决的问题

如专利文献1的装置，在拍摄培养液中的细胞的情况下，表面张力使得培养液的表面形成凹状的弯液面。因此，光在培养液的表面发生折射。结果，图像的倍率(视野的广度)根据照相机的焦点位置而变化。因此，为了生成全焦点图像，必须考虑通过多次拍摄得到的图像间的倍率变化。

例如专利文献2所述，根据通过多次拍摄得到的图像间的倍率变化量来修正各图像的倍率，生成全焦点图像。然而，若修正各图像的倍率，则存在图像中的细胞大小、或多个细胞的间隔发生变化的问题。

尤其，在将不同的视野中得到的多个全焦点图像进行排列来生成一个结果图像的情况下，需要在相邻的全焦点图像间整合细胞的位置及大小。然而，如上所述，若对每个图像修正倍率，则不能在相邻的全焦点图像间高精度地整合细胞的位置及大小。因此，在结果图像中的全焦点图像的边界发生图像的错乱。

此外，弯液面的影响随着容器的形状、培养液的种类、经过时间、培养环境等各种条件而变化。因此，不能如专利文献2所述，基于预先准备的信息来修正图像的倍率。

本发明是鉴于这种情况而提出的，目的在于提供一种即使在图像的倍率根据照相机的焦点位置而变化的情况下，也能高精度地生成全焦点图像的图像处理方法、图像处理装置、以及摄像装置及摄像方法。

解决问题的技术方案

为了解决上述课题，本申请的第一发明是一种图像处理方法，基于多个拍摄图像生成全焦点图像，包括：a)工序，一边使焦点位置沿着光轴变化一边拍摄对象物，从而获取多个拍摄图像；b)工序，获取多个所述拍摄图像间的倍率变化；c)工序，基于所述倍率变化，确定多个所述拍摄图像间相互对应的像素，并且在所述对应的像素之间比较锐度；d)工序，基于所述c)工序的比较结果来决定图像参照值，所述图像参照值是作为全焦点图像的各坐标的亮度值所应参照的所述拍摄图像的序号；以及e)工序，对每个坐标参照所述图像参照值所示的拍摄图像的亮度值，生成全焦点图像。